概念
YUV 是一种颜⾊编码方法,和它等同的还有 RGB 颜⾊编码⽅法。
而在我们平时开发中熟悉的颜色系统---RGB,每个颜色通道占有1个字节。YUV就比较陌生了,这个YUV是做音视频这一块业务开发比较熟悉的。
RGB 颜色编码
RGB 三个字⺟分别代表了 红(Red)、绿(Green)、蓝(Blue),这三种颜⾊称为 三原⾊,将它们以不同的⽐例相加,可以产⽣多种多样的颜⾊。
在图像显示中,一张 1280 * 720 ⼤小的图⽚,就代表着它有 1280 *720 个像素点。其中每一个像素点的颜⾊显示都采⽤ RGB 编码⽅法,将 RGB 分别取不同的值,就会展示不同的颜色。
RGB 图像中,每个像素点都有红、绿、蓝三个原⾊,其中每种原⾊都占⽤用 8 bit,也就是一个字节,那么一个像素点也就占⽤用 24 bit,也就是三个字节。
YUV 颜⾊编码
YUV 颜⾊编码采⽤用的是 明亮度 和 色度 来指定像素的颜⾊。其中,
YUV(YCbCr),是电视系统采用的一种编码方法。
Y:表示明亮度,也是灰阶值,它是基础信号。
U和V表示色度,UV的作用是描述影像的色彩以及饱和度,采用指定的像素颜色。
YUV 颜⾊编码表示一幅图像,它应该下⾯面这样的:
和 RGB 表示图像类似,每个像素点都包含 Y、U、V 分量。但是它的 Y 和 UV 分量是可以分离的,如果没有 UV 分量一样可以显示完整的图像,只不不过是⿊白的。对于YUV 图像来说,并不不是每个像素点都需要包含了了 Y、U、V 三个分量,根据不同的采样格式,可以每个 Y 分量都对应自己的 UV 分量,也可以⼏个 Y 分量共⽤ UV 分量。
RGB 到 YUV 的转换
对于图像显示器来说,它是通过 RGB 模型来显示图像的,而在传输图像数据时又是使⽤ YUV 模型,这是因为 YUV 模型可以节省带宽。因此就需要采集图像时将 RGB 模型转换到 YUV 模型,显示时再将YUV 模型转换为 RGB 模型。
RGB 到 YUV 的转换,就是将图像所有像素点的 R、G、B 分量转换到 Y、U、V 分量。公式如下:
此时的转换结束后,每个像素点都有完整的 Y、U、V 分量。⽽之前提到 Y 和 UV 分量是可以分离的,接下来通过不同的采样⽅式,可以将图像的 Y、U、V 分量重新组合。接下来的不同采样格式都是在一张图像所有像素的 RGB 转换到 YUV基础上进⾏的。
YUV存储格式
planner(平面格式)
· I420:YYYYYYYY UVUV ---> YUV420P
· YV12:YYYYYYYY VUVU ----> YUV420P
I420是PC端使用的。
packed(打包模式)
· NV12: YYYYYYYY UVUV ---> YUV420SP
· NV21: YYYYYYYY VUVU ---> YUV420SP
在做项目的过程中,比如iOS/安卓,在解码视频后发现视频图像出现倒置或者翻转,有可能它们的YUV格式不一致导致的。因为PC端一般常用I420,安卓一般默认是NV21,iOS一般默认是NV12,如果想统一,就需要保证一致的存储格式。
YUV 采样格式
YUV 图像的主流采样方式有如下三种:
· YUV 4:4:4 采样
· YUV 4:2:2 采样
· YUV 4:2:0 采样
YUV 4:4:4 采样
YUV 4:4:4 采样,意味着 Y、U、V 三个分量的采样⽐例相同,因此在生成的图像里,每个像素的三个分量信息完整,都是 8 bit,也就是一个字节。如下图所示:
假如图像像素为:[Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3]
那么采样的码流为:Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
最后映射出的像素点依旧为 [Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3]
可以看到这种采样方式的图像和 RGB 颜⾊模型的图像⼤⼩是一样,并没有达到节省带宽的目的,当将 RGB 图像转换为 YUV 图像时,也是先转换为 YUV 4:4:4 采样的图像。
YUV 4:2:2 采样
YUV 4:2:2 采样,意味着 UV 分量是 Y 分量采样的一半,Y 分量和UV 分量按照 2 : 1 的⽐例采样。如果水平方向有 10 个像素点,那么采样了 10 个 Y 分量,⽽只采样了 5 个 UV 分量。如下图所示:
假如图像素为:[Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3]
那么采样的码流为:Y0 U0 Y1 V1 Y2 U2 Y3 V3
其中,每采样过一次像素点,都会采其Y分量,而U,V分量就会间隔一个采集一个。
最后映射出的像素点为 [Y0 U0 V1]、[Y1 U0 V1]、[Y2 U2 V3]、[Y3 U2 V3]
采样的码流映射为像素点,还是要满足每个像素点有 Y、U、V 三个分量。但是可以看到,第一和第二像素点公⽤了 U0、V1 分量,第三和第四个像素点公用了U2、V3 分量,这样就节省了图像空间。一张1280 * 720 大小的图片,在 YUV 4:2:2 采样时的大小为:(1280 * 720 * 8 + 1280 * 720 * 0.5 * 8 * 2)/ 8 / 1024 / 1024 = 1.76 MB 。
可以看到 YUV 4:2:2 采样的图像⽐ RGB 模型图像节省了了三分之一的存储空间,在传输时占⽤的带宽也会随之减少。
YUV 4:2:0 采样
YUV 4:2:0 采样,并不是指只采样 U 分量⽽不采样 V 分量。⽽是指,在每⼀行扫描时,只扫描一种色度分量(U 或者 V),和 Y 分量按照 2 : 1 的方式采样。⽐如,第⼀行扫描时,YU 按照 2 : 1 的方式采样,那么第二行扫描时,YV 分量按照 2:1 的⽅式采样。对于每个色度分量来说,它的水平方向和竖直方向的采样和 Y 分量相比都是2:1 。如图所示:
假设图像像素为:
[Y0 U0 V0]、[Y1 U1 V1]、 [Y2 U2 V2]、 [Y3 U3 V3]
[Y5 U5 V5]、[Y6 U6 V6]、 [Y7 U7 V7] 、[Y8 U8 V8]
那么采样的码流为:Y0 U0 Y1 Y2 U2 Y3 Y5 V5 Y6 Y7 V7 Y8
其中,每采样过一个像素点,都会采样其 Y 分量,⽽而 U、V 分量就会间隔一行按照 2 : 1 进行采样。
最后映射出的像素点为:
[Y0 U0 V5]、[Y1 U0 V5]、[Y2 U2 V7]、[Y3 U2 V7]
[Y5 U0 V5]、[Y6 U0 V5]、[Y7 U2 V7]、[Y8 U2 V7]
最后从映射出的像素点中可以看到,四个 Y 分量是共用了一套 UV 分量,⽽且是按照 2*2 的小方格的形式分布的,相比 YUV 4:2:2 采样中两个Y 分量共用一套 UV 分量,这样更能够节省空间。一张1280 * 720 大小的图片,在 YUV 4:2:0 采样时的大小为:(1280 * 720 * 8 + 1280 * 720 * 0.25 * 8 * 2)/ 8 / 1024 / 1024 = 1.32MB 。可以看到 YUV 4:2:0 采样的图像比 RGB 模型图像节省了一半的存储空间,因此它也是比较主流的采样方式。