音视频学习从零到整(1)
音视频学习从零到整(2)
音视频学习从零到整(3)
音视频学习从零到整(4)
音视频学习从零到整(5)
音视频学习从零到整(6)
音视频学习从零到整(7)
音视频编解码处理流程,这个问题经常是面试官抛砖引玉的问题.他们渴望能从这个流程中看到你的宏观思考和微观技术处理.
- 采集
- 编码
- 解码
- 渲染
一.解码的思路:
- 解析数据(NALU Unit) I/P/B...
- 初始化解码器
- 将解析后的H264 NALU Unit 输入解码器
- 解码完成回调,输出解码数据
- 解码数据显示(OpenGL ES)
二.解码三个核心函数:
- 创建session,
VTDecompressionSessionCreate - 解码一个frame,
VTDecompressionSessionDecodeFrame - 销毁解码session,
VTDecompressionSessionInvalidate
三.原理分析:
- H264原始码流-->NALU.
- I帧: 保留了一张完整视频帧. 解码关键!
- P帧: 先前参考帧.差异数据.解码需要依赖于I帧
- B帧: 双向参考帧,解码时既需要I帧,也需要P帧!
如果H264码流中I帧错误/丢失,就会导致错误传递,P/B帧单独是完成不了解码工作! 花屏的现象产生. VideoToolBox硬编码编码H264帧.I帧! 手动加入SPS/PPS. 解码时: 需要使用SPS/PPS数据来对解码器进行初始化!
四. 解码思路:
- 解析数据
既然NALU,一个接一个.实时解码! 首先,你要对数据解析! 分析NALU数据.前面4个字节是起始位!标识一个NALU的开始! 从第5位才开始来获取!从第五位才是NALU数据类型.
要获取到第5位数据,转化十进制,然后根据表格判断它数据类型!
判断好数据类型,才能将NALU送入解码器.SPS/PPS获取就可以,是不需求解码的!
CVPixelBufferRef 保存是解码后的数据或者未编码前的数据
- 解码数据
- 解码成功后将数据通过OpenGL ES渲染到屏幕上!
