本篇介绍
本篇介绍下H264和H264的编码格式，包括avcc，annexb，以及转换方法。annexb 用于实时流的场景，avcc用于多媒体文件，如mp4,mkv等场景。
h264
h264是一种编码格式，NAL(Network Abstraction Layer)和VCL(Video Coding Layer)是其中2个主要内容。NAL是网络抽象层，用于对数据进行打包和发送。VCL是视频编码层，负责高效地视频内容显示。
H264编码过程中的3种数据：
SODB(string of data byte),数据比特流，最原始的编码数据，也就是VCL数据，没有附加其他数据。
RBSP(Raw byte sequence payload),原始字节序列载荷，在SODB的后面加入了结尾比特。
EBSP(Encapsulation Byte Sequence Packets)扩展字节序列载荷，在RBSP的基础上添加了仿校验字节(0x03)，这是因为视频数据以annexb格式出现时，会有起始码(Start Code)0x00000001, 如果数解码器发现Start Code 就会认为是当前NAL结束，新的NAL开始。如果NAL数据中也有0x00000001数据，那么就会出现误判，因此需要添加仿校验字节，如果编码器发现连续2个字节为0，那么就会添加0x03,在解码的时候再把0x03去掉。
NALU
VCL层是对块，宏块以及片语法级别的定义，最终输出压缩编码后的数据SODB。 VAL在存储和传输前会对SODB打包成RBSP，并添加NAL头，组成一个NALU单元。
每个NALU包含一字节的头信息，再加可变长度的RBSP。每个NALU可以携带一个编码片，A/B/C型数据分割，或者是一个序列参数集，或者是一个图像参数集。
NALU头结构
nalu头结构大小是1字节，具体可以参考rfc3984
+---------------+
|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+
|F|NRI| Type |
+---------------+
F:
forbidden_bit:初始为0，当网络发现NAL有网络错误时将该比特设置为1
NRI:
nal_reference_bit:nal重要性指示，值越大，重要性越高，当解码器处理不过来的时候，可以丢弃值为0的nalu。
Type:
nal_unit_type:标识NAL单元中的RBSP数据类型，其中值为1，2，3，4，5的nal单元成为VCL的nal单元，其余为非VCL的nal单元。
H264_NAL_UNSPECIFIED = 0,
H264_NAL_SLICE = 1,
H264_NAL_DPA = 2,
H264_NAL_DPB = 3,
H264_NAL_DPC = 4,
H264_NAL_IDR_SLICE = 5,
H264_NAL_SEI = 6,
H264_NAL_SPS = 7,
H264_NAL_PPS = 8,
H264_NAL_AUD = 9,
H264_NAL_END_SEQUENCE = 10,
H264_NAL_END_STREAM = 11,
H264_NAL_FILLER_DATA = 12,
H264_NAL_SPS_EXT = 13,
H264_NAL_PREFIX = 14,
H264_NAL_SUB_SPS = 15,
H264_NAL_DPS = 16,
H264_NAL_RESERVED17 = 17,
H264_NAL_RESERVED18 = 18,
H264_NAL_AUXILIARY_SLICE = 19,
H264_NAL_EXTEN_SLICE = 20,
H264_NAL_DEPTH_EXTEN_SLICE = 21,
H264_NAL_RESERVED22 = 22,
H264_NAL_RESERVED23 = 23,
H264_NAL_UNSPECIFIED24 = 24,
H264_NAL_UNSPECIFIED25 = 25,
H264_NAL_UNSPECIFIED26 = 26,
H264_NAL_UNSPECIFIED27 = 27,
H264_NAL_UNSPECIFIED28 = 28,
H264_NAL_UNSPECIFIED29 = 29,
H264_NAL_UNSPECIFIED30 = 30,
H264_NAL_UNSPECIFIED31 = 31,
序列参数集SPS:
两个IDR帧之间的图形序列所有信息，包括标识符(seq_parameter_set_id),帧数，POC的数目，参考帧的数目，解码图像尺寸，帧场编码模式选择标识等
图像参数集PPS:
PPS对应的是一个序列中的某一幅或某几幅图像，包括一个图像所有的Slice的相关信息，如图像类型，序列号，标识符，可选的序列标识符，熵编码模式选择标识，片组数目，初始化编码参数，去方块滤波系数调整标识等
数据分割:
组成片的编码数据存放在3个独立的数据分割中，分割A包含片头和片中每个宏块头数据，分割B包含帧内和SI片的宏块编码数据，分割C包含帧间的编码残差数据
H264的AnnexB格式：
使用startcode来分割nal，startcode一般是3字节(0x000001)或4字节(0x00000001),sps，pps也在nal数据头部。
找一个mp4 文件，执行下面命令
ffmpeg -i test.mp4 -codec copy -bsf: h264_mp4toannexb -f h264 out.h264
这时候就可以看到对应的annexb数据:
H264的AVCC格式
在头部保存长度信息，并将长度信息所用的字节长度和sps，pps等数据放到extradata中。
可以使用如下命令查看mp4中的avcc数据包：
ffprobe -show_data -show_packets -select_streams v -i test.mp4
AVCC To Aneexb
H265
H265的nalu结构如下
+---------------+---------------+
|0|1|2|3|4|5|6|7|0|1|2|3|4|5|6|7|
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|F| Type | LayerId | TID |
+-------------+-----------------+
这时候nalu 头是2字节
F:
forbidden_zero_bit:要求是0，当出现错误的时候设置为1
Type:
nal_unit_type:nalu类型，具体数值如下, 和H264是不一样的：
HEVC_NAL_TRAIL_N = 0,
HEVC_NAL_TRAIL_R = 1,
HEVC_NAL_TSA_N = 2,
HEVC_NAL_TSA_R = 3,
HEVC_NAL_STSA_N = 4,
HEVC_NAL_STSA_R = 5,
HEVC_NAL_RADL_N = 6,
HEVC_NAL_RADL_R = 7,
HEVC_NAL_RASL_N = 8,
HEVC_NAL_RASL_R = 9,
HEVC_NAL_VCL_N10 = 10,
HEVC_NAL_VCL_R11 = 11,
HEVC_NAL_VCL_N12 = 12,
HEVC_NAL_VCL_R13 = 13,
HEVC_NAL_VCL_N14 = 14,
HEVC_NAL_VCL_R15 = 15,
HEVC_NAL_BLA_W_LP = 16,
HEVC_NAL_BLA_W_RADL = 17,
HEVC_NAL_BLA_N_LP = 18,
HEVC_NAL_IDR_W_RADL = 19,
HEVC_NAL_IDR_N_LP = 20,
HEVC_NAL_CRA_NUT = 21,
HEVC_NAL_RSV_IRAP_VCL22 = 22,
HEVC_NAL_RSV_IRAP_VCL23 = 23,
HEVC_NAL_RSV_VCL24 = 24,
HEVC_NAL_RSV_VCL25 = 25,
HEVC_NAL_RSV_VCL26 = 26,
HEVC_NAL_RSV_VCL27 = 27,
HEVC_NAL_RSV_VCL28 = 28,
HEVC_NAL_RSV_VCL29 = 29,
HEVC_NAL_RSV_VCL30 = 30,
HEVC_NAL_RSV_VCL31 = 31,
HEVC_NAL_VPS = 32,
HEVC_NAL_SPS = 33,
HEVC_NAL_PPS = 34,
HEVC_NAL_AUD = 35,
HEVC_NAL_EOS_NUT = 36,
HEVC_NAL_EOB_NUT = 37,
HEVC_NAL_FD_NUT = 38,
HEVC_NAL_SEI_PREFIX = 39,
HEVC_NAL_SEI_SUFFIX = 40,
HEVC_NAL_RSV_NVCL41 = 41,
HEVC_NAL_RSV_NVCL42 = 42,
HEVC_NAL_RSV_NVCL43 = 43,
HEVC_NAL_RSV_NVCL44 = 44,
HEVC_NAL_RSV_NVCL45 = 45,
HEVC_NAL_RSV_NVCL46 = 46,
HEVC_NAL_RSV_NVCL47 = 47,
HEVC_NAL_UNSPEC48 = 48,
HEVC_NAL_UNSPEC49 = 49,
HEVC_NAL_UNSPEC50 = 50,
HEVC_NAL_UNSPEC51 = 51,
HEVC_NAL_UNSPEC52 = 52,
HEVC_NAL_UNSPEC53 = 53,
HEVC_NAL_UNSPEC54 = 54,
HEVC_NAL_UNSPEC55 = 55,
HEVC_NAL_UNSPEC56 = 56,
HEVC_NAL_UNSPEC57 = 57,
HEVC_NAL_UNSPEC58 = 58,
HEVC_NAL_UNSPEC59 = 59,
HEVC_NAL_UNSPEC60 = 60,
HEVC_NAL_UNSPEC61 = 61,
HEVC_NAL_UNSPEC62 = 62,
HEVC_NAL_UNSPEC63 = 63,
LayerId:
nuh_layer_id:现在需要设置为0，是为后续的3D图像准备的。
TID:
nuh_temporal_id_plus1:NALU 的标识符，类似于H264的NRI。
