人眼视觉和图像属性
-
人眼的最小视角:1/60°,即sin(1/60°) = 1 / 3400,即观看距离大于像素宽度的3400倍才能消除像素感
视觉惰性 - 模拟视频信号本身没有像素的概念,只有行的概念,只有在数字化后才具备像素概念
- 临界闪烁频率,超过此频率,闪烁感消失
- 人眼对亮度的反应非线性,其反应特性曲线:S=alogI,即对数曲线,I为线性变化的亮度
- 彩色数字影像一般由三个独立通道组成(RGB)
- 位深,用来描述每一个通道色彩的二进制数的位数,8位即每个通道有2的8次方,256种色彩,RGB三个通道为2的3x8=24次方种色彩数
-
伽马矫正,符合人眼视觉特性,且不必增加位深,公式为C=I的(I/Y)次方,Y为常数,I为亮度值,C为编码值,类似log曲线,与人眼的非线性特点相似,即对暗部亮度变化的分辨力强于亮部
伽马曲线 - 1080p25,1080行,逐行扫描,每秒扫描25帧;1080i50,1080行数,隔行扫描,每秒扫描50场
-
编码100问题,即人眼对亮度变化的分辨能力为被观察物体亮度变化达到背景亮度的1%,根据人眼的亮度反应特性曲线,灰阶0-100的编码范围内,亮度变化1,人眼视觉感知变化大于1%,人眼能观察到阶梯现象,为无效编码
8bit线性编码及其亮度变化 - 奈奎斯特定律,采样频率>2倍的原始信号频率,才能完整采集;原始信号中> 采样频率一半的高频信号,会映射到低频部分,产生混叠,如摩尔纹
色彩科学
- 日出时直射阳光的平均色温2000K;中午时直射阳光的平均色温:5000K;晴天天空的色温:9000K-25000K
- 三基色原理:几乎所有自然界中的色光都可以用三种基本色彩混合而成
- 色彩科学,即色彩描述系统
- 理想黑体,对此加热时,以电磁波的形式向外辐射能量,但不吸收辐射能,所以其辐射频谱只与温度有关
- 标准光源,D65,6500K,更接近于白天的自然光照
- RGB计色制,三基色为RGB,即物理三基色
- XYZ计色制,只有Y包含亮度,因为x+y+z=1,所以已知其二,可得第三个变量,即XYZ计色制的色度值可由xy的二维坐标表示,即CIE色度图
-
在CIE色度图中,可见光色度从波长从380nm到700nm连续分布,呈马蹄形
CIE色度图 - 色彩的重现,加色混色法和减色法。绝大部分彩色显示设备均采用加色法混色;电影胶片和印刷品采用减色法混色。
- 视频技术对色彩的描述建立在RGB三基色
加色法
的基础上,需要确定三基色和参考白点的具体色度值才能准确描述某一色彩,sRGB=Rec709 - 当三基色和参考白点确定后,RGB计色制与XYZ计色制可通过三元一次方程组相互转换
感光元件
- CCD工作原理,每个像素被光照射以后,MOS电容器的势阱根据光照的强度储存对应数量的电荷,形成潜影(感光);通过控制各个MOS电容器的栅极电压以实现特定顺序的电荷的转移,最终以电压的形式输出至后续电路进行信号处理
- CMOS的每一个像素配备独立电路,用来完成电荷到电压的映射(转移)
- 动态范围,每一个像素能够记录的最强与最弱的光照比,CCD因其自身结构(仅由单一的感光单元组成)具有更高的动态范围
- 拍摄速度CMOS更快,因为CMOS芯片自身可以完成大部分光电信号处理
- 拜耳模式,单芯片CMOS采用的分光方法,即在每一个像素(感光单元)添加单色滤色镜,用于记录某一特定的原色光的强度,(由于人眼对绿光的敏感性要高于红光和蓝光,所以传感器上的感绿单元也更多,)缺失的其他两种色彩需要从临近的像素中提取,后期经过计算还原
- 拜耳模式被目前绝大多数专业级单芯片数字电影摄像机采用
扫描与同步
- 行逆程和场逆程均不记录或显示图像,电子束是截止的,称之为消隐,且正程扫描时间要远大于逆程
- 逐行分段帧,PsF,使用隔行扫描设备,对逐行扫描方式的视频影像进行处理
- 消隐期发送同步脉冲
模拟与数字
- 数字中间片技术,将胶片影像转换为数字影像,进而在数字环境下进行剪辑、调色、特效制作等,其出现于数字摄影机之前
- 在数字摄影机内部,感光器件将连续的光信号转换为连续的电信号,后续电路将电信号转换为电压并放大,然后对得到的模拟电压信号进行数字转换,最终转换成串行数字信号输出
- 在接收端,系统将串行数字信号转换为并行数字信号,最终转换为模拟信号输出
- 噪波总是从暗部最先产生的,因为亮度低,信号的电压越低,而噪声的功率是恒定的。
- 模拟信号需经过采样和量化才能转为数字信号
- 量化的本质是将模拟量在幅度上进行离散化,量化过程中所划分的区间数量成为量化位深,单位为比特。8个量化区间,其量化位深位3比特。量化级数越高,所划分的区间就越多,量化精度就越高。
- 色度采样有4:4:4、4:2:2、4:2:0等几种。第一位数字表示亮度采样率,后两位数字表示两个色彩分量的采样率。4:4:4采样表示每一个像素的亮度和色度都会被单独采样,且亮度和色度的采样率相同;4:2:2方式的色度采样频率是亮度的一半,每隔两个像素进行一次,而没有进行色度采样的像素的色度信息借用相邻像素的色度信息或者采样差值;4:2:0方式的色度采样频率为亮度的一半,且一行之内只对一个色度分量采样,下一行再对另一个色度分量采样。
- 越来越多的摄影机采用4:4:4采样,而4:2:2采样是广播级视频的专业标准。
- 上变换,从低分辨率转换到高分辨率,下变换则相反。
视频传输
- 低频系带信号(调制信号)往往不能直接传输,必须依附于一个高频信号(载波)以便于传输;调制是通过改变高频载波的幅度、相位或频率,使其随系带信号幅度的变化而变化。
- 双边带调制、单边带调制和残留边带调制
- 正交幅度调制
视频标准与视频格式
- Rec.709,最通用的高清数字视频标准,画面宽高比16:9,总行数1080行,像素为正方形;具有8位或者10位位深;帧速率为60Hz、50Hz、30Hz、25Hz、24Hz
视频存储
- 磁带,视频电信号和磁迹强度的变化二者间的相互转化
时间与时码
- 50i(每秒25帧或50场,两场为一帧)与24p相互转换的方法:改变播放速度
-
24p转60i(30p):每4帧24p影像中增加1帧,即将4帧24p画面转换为5帧60i画面,一般使用2:3下拉变换实现;30p转24p是其逆过程。
下拉变换 - 对于60i(30p)的NTSC制而言,实际的帧速率为29.97Hz,降低千分之一。
- LTC,磁带上以水平连续的方式记录
- VITC,利用视频信号场消隐间隙中的行扫描线进行时码信息的记录,是不连续的
- Record Run模式,镜头之间的时码是不间断的
- Time of Day,记录自然时间;Free Run模式可以将任意时间作为起始时间
显示
- 液晶态,既有液体的流动性,又有固体的晶体性质,是一种稳态
伽马
-
人眼的亮度感觉与亮度的关系:近似对数曲线
S= klogI + k
人眼的亮度感觉与亮度的关系 -
对于CRT显示器,其亮度和电压的关系:近似指数曲线
亮度和电压
说明其特性与人眼刚好相反。显示器的这种指数特性又叫伽马;当被摄物体通过具有线性特性的感光器件后,未经校正直接由指数型的显示器输出后,被摄物体亮度的线性被改变为非线性(指数),造成非线性失真
-
伽马矫正
伽马矫正 - 在摄像机内部进行伽马矫正可以有效提高暗部信噪比
-
系统伽马,即摄像设备的伽马矫正和显示设备的伽马叠加:
系统伽马
系统伽马>1,对比度和饱和度越大
- 视频伽马对1—90亮度记录范围为0-100IRE,超出部分未、为100-109IRE,对于超出100的亮度信息,压缩至109IRE记录
-
电影伽马(对数伽马)
V1 = klogV2+a,V1为校正后的电压,V2为校正前的电压,由于V2与亮度成线性关系,所以V1与亮度成对数关系
电影伽马与视频伽马对比 - 对数影像在标准Rec709的显示器不能正确还原,其根本原因在于二者的伽马差异巨大,所以需要认为校正电影伽马。
-
LUT转换原理图
LUT转换原理图
LUT是将电影伽马转换为视频伽马的函数。
- 由感光元件输出的电压首先进行数模转换,形成14比特或16比特的数字信号,然后进行线性到对数的转换,转换的同时量化位深下降为10比特。