封装格式
指的是.avi .mkv .mp4这些后缀的文件, 可以把它理解为视频文件和音频文件的容器.
编码格式
itu 国际电信联盟 推出的 h263
iso 国际标准化组织 推出的 mpeg
为统一标准, itu和iso合作开发了h264和h265.
h264, h265 叫做编码格式
h264 mpeg4-avc是一回事, 只是2个组织的叫法不同.
h265 hevc 也是一回事.
google推出的是vp8和vp9, 但不是主流编码格式.
使用ffmpeg的命令行, 就可以把一个.mp4文件拆分成一个.h264文件和一个.aac文件.
原始的视频数据是 yuv -> 编码后就是 h264格式的文件.
音频的视频数据是 pcm -> 编码后生成 aac格式的文件.
android mediacodec 创建解码器, 传参 video/avc就是对应h264, video/hevc对应h265.
h264和h265的区别
h264的宏块大小是44到1616之间, h265是44到6464之间, 因此生成的文件h265一般只是h264的一半大小.
I帧, P帧和B帧的概念
宏块 = 网格, 就是把一张图分割成很多的小网格.
对宏块的数据保存, 只保存宏块的上边像素数据和左边的像素数据. 其他的数据不保存, 而是使用一个方向预测值来保存. 这样就可以减少很多的数据保存量. 因此宏块越大, 数据节省的越多.
I帧: 对所有宏块的数据进行保存.
P帧: 只保留I帧中同样存在宏块的位置变化的适量数据, 还有上一个I帧中不存在的宏块数据.
B帧: 对比前后的I帧和P帧, 只保留一个变化的百分比, 因此B帧是非常小的.
视频文件中第一帧是I帧, 当算法判断下一帧图像的相似度小于5%时, 创建B帧, 下一帧图像的相似度在5%和30%之间时, 创建P帧.
视频文件中, 第一帧一定是I帧, 第二帧一定是P帧, 后面跟着几个B帧.
视频播放的本质是宏块的运动.
在接收端, 判断I帧的起始位置是用分隔符00 00 00 01来判断的, 如果后面是65, 那么代表是I帧.
如果小概率发现图像宏块的数据中也正好是00 00 00 01的话, 那就转义一下中间再插个值, 比如00 00 03 00 01, 避免在视频解码时把它看做是视频帧的分隔符.
视频硬编码和软编码的主要区别
硬编码就是使用android原生的MediaCodec使用GPU编码, 软编码就是使用ffmpeg+openH264编码器使用CPU编码.
- 软编码需要引入额外的库, 硬编码不需要.
- 软编码速度慢, 但是对数据的压缩率高, 但是占用CPU资源高, 还会影响电池耗电情况. 硬编码正好相反.
- 软编码兼容性好, android机型碎片化问题和系统版本众多, 因此使用MediaCodec会有机型适配的问题需要额外处理.
