数字媒体压缩
为缩小数字媒体文件的大小,我们需要对其使用压缩技术,一般来说我们所欣赏的媒体内容都进行过一定程度的压缩,无论在电视上的视频还是网页上的视频流,其实都是和这些内容的原始文件的压缩格式打交道,对数字媒体进行压缩可以大幅度缩小文件的尺寸,但是通常会在资源的质量上有小幅可见的衰减。
色彩的二次采样
视频数据是使用称之为YCbCr颜色模式,它也是常称为YUV,虽然YUV术语并不准确,但是读起来比较方便,大部分的软件开发者都更熟悉RGB颜色模式,即每个像素点都由红,绿,蓝三个颜色组合而成,YCbCr或者是YUV则使用色彩(颜色)通道UV替换了像素的亮度通道.
-
RGB的颜色编码
RGB三个字母分别代表了红(red)、绿(green)、蓝(blue),这三种颜色称为三原色,将它们以不同的比例相加,可以产生多种多样的颜色。
在图像显示中,一张1280 * 720 大小的图片,就代表着它有1280 * 720 个像素点。其中每⼀个像素点的颜⾊显示都采⽤RGB 编码⽅法,将RGB 分别取不同的值,就会展示不同的颜⾊。
RGB 图像中,每个像素点都有红、绿、蓝三个原⾊,其中每种原⾊都占⽤8 bit,也就是⼀个字节,那么⼀个像素点也就占⽤24 bit,也就是三个字节。⼀张1280 * 720 ⼤⼩的图⽚,就占⽤1280 * 720 * 3 / 1024 / 1024 = 2.63 MB 存储空间
YUV的颜色编码
YUV颜色编码采用的是明亮度和色度来指定像素的颜色。其中,Y代表明亮度(Luminance、Luma),而U和V表示色度(Chrominance、Chroma)。而色度又定义了颜色的两个方面:色调和饱和度
和RGB表示图像类似,每个像素点包含了Y、U、V分量。但是它的Y和UV分量是可以分离的,如果没有UV分量一样可以显示完整的图像,只不过是黑白的。对应YUV图像来说,并不是每个像素点都需要包含Y、U、V三个分量,根据不同的采样格式,可以每个分量Y都对应自己的UV分量,也可以结果Y分量公用UV分量
YUV4:4:4
在4:4:4的模式下,色彩的全部信息被保存下来,如图:
可以简单理解为:原始像素原样输出,没有任何压缩,如下图所示
相邻的四个像素点ABCD,每个像素点有自己的YUV,在色彩的二次采样的过程中,分别保留自己的YUV,每个分量占用8bit,一个像素点占用1个字节。与RGB颜色编码相比,并没有节省带宽,占用的存储空间也没有减少,称为4:4:4。可以加简单理解为:原始像素原样输出,没有任何压缩
。
YUV4:2:2
YUV4:2:2采样,意味着UV分量是Y分量采样的一半,Y分量和UV分量按照2:1的比例采样
。举例说明:如果水平方向有10个像素点,通过这种采样格式,最终采样了10个Y分量,5个UV分量
可以通俗的理解为:每采样一个像素点都会采样Y分量,而U、V分量则会间隔一个采集一个
如图所示:
假设原始图像的像素为(一对[]表示一个像素点):
[Y0, U0, V0]; [Y1, U1, V1]; [Y2, U2, V2]; [Y3, U3, V3];
将原始图像像素按照YUV4:2:2采样的码流为:
Y0, U0, Y1, V1, Y2, U2, Y3, V3
其中,每采样过⼀个像素点,都会采样其 Y 分量,⽽ U、V 分量就会间隔⼀个采集⼀个。
最后映射还原的像素点为:
[Y0, U0, V1]; [Y1, U0, V1]; [Y2, U2, V3]; [Y3, U2, V3];
结论:1、YUV4:2:2采样格式中是两个Y分量共用一套UV分量
2、相比RGB颜色编码格式节省了1/3的存储空间。在传送时占用的宽带也会随之减少
一张1280 * 720大小的图片在YUV4:2:2采样时的大小为:
Y的字节数=1280 * 720 * 8
UV的字节数 = 1280 * 720 * (2/4) 8 * 2
(Y的字节数 + UV的字节数)/ 8 /1024 /1024 = 1.76MB 存储空间*
YUV4:2:0
YUV4:2:0采样,并不是只采样U分量而不采样V分量.而是指,在每一行扫描时,只扫描一种色度分量(U或者V),和Y分量按照2:1的方式采样。比如,第一行扫描时,YU按照2:1的方式采样,那么第⼆⾏扫描时,YV 分量按照2:1 的⽅式采样。对于每个⾊度分量来说,它的⽔平⽅向和竖直⽅向的采样和Y 分量相⽐都是2:1 。假设第⼀⾏扫描了U 分量,第⼆⾏扫描了V 分量,那么需要扫描两⾏才能够组成完整的UV 分量,可以简单的理解为:在田字格的4个像素点中,4个Y分量共用了一套UV分量,如图所示:
假设原始图像的像素为(一对[]表示一个像素点):
[Y0, U0, V0]; [Y1, U1, V1]; [Y2, U2, V2]; [Y3, U3, V3];
[Y5, U5, V5]; [Y6, U6, V6]; [Y7, U7, V7]; [Y8, U8, V8];
其中,每采样过⼀个像素点,都会采样其 Y 分量,⽽ U、V 分量就会间隔⼀⾏按照 2 : 1 进⾏采样。
将原始图像像素按照YUV4:2:0采样的码流为:
Y0, U0, Y1, Y2, U2, Y3,
Y5, V5, Y6, Y7, V7, Y8,
最后映射还原的像素点为:
[Y0, U0, V5]; [Y1, U0, V5]; [Y2, U2, V7]; [Y3, U2, V7];
[Y5, U0, V5]; [Y6, U0, V5]; [Y7, U2, V7]; [Y8, U2, V7];
从映射出的像素点中可以看到,四个Y 分量是共⽤了⼀套UV 分量,⽽且是按照2*2 的⼩⽅格的形式分布的,相⽐YUV 4:2:2 采样中两个Y 分量共⽤⼀套UV 分量,这样更能够节省空间。⼀张1280 * 720 ⼤⼩的图⽚,在YUV 4:2:0 采样时的⼤⼩为:
(1280 * 720 * 8 + 1280 * 720 * 0.25 * 8 * 2)/ 8 / 1024 / 1024 = 1.32 MB 相对于2.63M节省了一半的空间
RGB 与 YUV 颜色编码转换
对于图像显示器
(即屏幕)来说,是通过RGB
模型来展示图像的
而传输
时的图像数据
使用的是YUV
模型,主要是因为YUV可以节省带宽
所以在图像采集
时需要将RGB模型转换到YUV模型
,显示
时将YUV模型转换到RGB模型
RGB 到 YUV的转换,其实就是将图像所有像素点的R、G、B分量 转换到 Y、U、V分量,其对应的转换公式如下(这个并不需要死记硬背):
//YUV和RGB的转换:
Y = 0.299 R + 0.587 G + 0.114 B
U = -0.1687 R - 0.3313 G + 0.5 B + 128
V = 0.5 R - 0.4187 G - 0.0813 B + 128
R = Y + 1.402 (V-128)
G= Y - 0.34414 (U-128) - 0.71414 (V-128)
B= Y + 1.772 (U-128)