为什么要进行编码

因为未经过编码(压缩)的视频,具有极大的数据量,不利于存储,传输,实时应用.

视频编码的原理

1. 空间冗(rong)余 :同一幅图像的相邻像素点具有连贯性
2. 时间冗余: 一组连续的画面之间存在着关联性
3. 结构冗余: 某些场景存在着明显的图像分布模式,有规律可循.比如:方格地板,蜂窝
4. 视觉冗余: 人眼对图像细节的分辨率有限,对亮度比对色度更敏感.
5. 知识冗余: 许多图像的理解和某些知识有关联.比如人类面部的固定结构.

视频编码的规则

在保证视觉效果的前提下尽可能减少视频的数据量.

视频编码(压缩)方式

有损压缩与无损压缩

• 有损压缩:解压后与压缩前相比数据有丢失,丢失不可恢复,压缩比高
• 无损压缩:解压后与压缩前数据完全一致,压缩比低.
  注: 高效压缩算法往往使用有损压缩来减少数据量.

帧内压缩与帧间压缩

• 帧内:一幅帧的相邻像素点具有空间连续性,不考虑相邻帧,减少本帧冗余信息,也称空间压缩.
• 帧间: 视频具有时间连续性,只记录相邻帧之间的差异来减少数据量,也成时间压缩.

对称编/解码与不对称编/解码

• 对称: 编码和解码占用相同的计算处理能力和时间,实时性好.
• 不对称: 与上相反,一般压缩慢,解压快.

视频编码标准

ITU-T与ISO/IEC是制定视频编码标准的两大组织
ITU-T的标准包括:H.261,H.263,H.264 主要应用于实时视频通信领域,如会议电视.
ISO/IEC:MPEG系列标准,主要应用于视频存储(DVD),广播电视,因特网或无线网上的流媒体等
而两大组织也共同制定了一些标准,H.262标准等同于MPEG-2的视频编码标准,H.264标准则被纳入MPEG-4的第10部分.

H.264

H264是新一代的编码标准，以高压缩高质量和支持多种网络的流媒体传输著称.
编码理论依据是：参照一段时间内图像的统计结果表明，在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内。所以对于一段变化不大图像画面，我们可以先编码出一个完整的图像帧X，随后的Y帧就不编码全部图像，只写入与X帧的差别，这样Y帧的大小就只有完整帧的1/10或更小！Y帧之后的Z帧如果变化不大，我们可以继续以参考Y的方式编码Z帧，这样循环下去。这段图像我们称为一个GOP图像组（GOP图像组就是有相同特点的一段数据），也就是对这个图像生成一个完整帧X1，随后的图像就参考X1生成，只写入与X1的差别内容。当某个图像与之前的图像变化很大，无法参考前面的帧来生成，那我们就结束上一个GOP图像组，开始下一段GOP图像组。
在H264协议里定义了三种帧，完整编码的帧叫I帧，参考之前的I帧生成的只包含差异部分编码的帧叫P帧，还有一种参考前后的帧编码的帧叫B帧。

H264采用的核心算法是帧内压缩和帧间压缩，帧内压缩是生成I帧的算法，帧间压缩是生成B帧和P帧的算法。

一些名词解析

GOP

GOP(Group of Pictures）:（画面组，一个GOP就是一组连续的画面，每个画面都是一帧，一个GOP就是很多帧的集合,两个I帧之间的间隔,在H264中图像以GOP图像组为单位进行组织，一个GOP图像组是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。

一个序列的第一个图像叫做 IDR 图像（立即刷新图像），IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像的数据来解码。

一个序列就是一段内容差异不太大的图像编码后生成的一串数据流。当运动变化比较少时，一个序列可以很长，因为运动变化少就代表图像画面的内容变动很小，所以就可以编一个I帧，然后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短了，比如就包含一个I帧和3、4个P帧。

I帧

I帧:

帧内编码帧，I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面)，一个GOP中，I帧是编解码的起点，有效防止帧间预测误差累计扩散。
P帧:(差别帧)保留这一帧跟之前帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（P帧没有完整画面数据，只有与前一帧的画面差别的数据）
B帧:(双向差别帧)保留的是本帧与前后帧的差别，解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累.

I帧特点:

1.它是一个全帧压缩编码帧。它将全帧图像信息进行H.26L压缩编码及传输(效果全面超越JPEG，逼近甚至超过JPEG2000);

2.解码时仅用I帧的数据就可重构完整图像;

3.I帧描述了图像背景和运动主体的详情;

4.I帧不需要参考其他画面而生成;

5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);

6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;

7.I帧不需要考虑运动矢量;

8.I帧所占数据的信息量比较大

P帧

前向预测编码帧，使用视频序列一个时间方向上的相关性进行压缩。P帧表示的是这一帧跟之前的帧的差别，P帧可以作为后续图像编码时的参考帧。解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据，因此解码要使用参考图像的像素值）。

P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。

P帧特点:

1.P帧是I帧后面相隔1~2帧的编码帧;

2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);

3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;

4.P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;

5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;

6.由于P帧是参考帧,它可能造成解码错误的扩散;

7.由于是差值传送,P帧的压缩比较高。

B帧

双向预测内插编码帧，利用视频序列两个时间方向上的相关性进行压缩，由于B帧的编解码顺序打乱了视频图像的自然顺序，因此B帧不用作参考帧。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别，换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累。

B帧的预测与重构

B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,得到B帧“某点”样值,从而可得到完整的B帧。

B帧特点

1.B帧是由前面的I或P帧和后面的P帧来进行预测的;

2.B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;

3.B帧是双向预测编码帧;

4.B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;

5.B帧不是参考帧,不会造成解码错误的扩散。

NALU,SPS与PPS

NALU

SPS:序列参数集 作用于一系列连续的编码图像；
SPS 对于H264而言，就是编码后的第一帧，如果是读取的H264文件，就是第一个帧界定符和第二个帧界定符之间的数据的长度是4
PPS:图像参数集 作用于编码视频序列中一个或多个独立的图像；

PPS 就是编码后的第二帧，如果是读取的H264文件，就是第二帧界定符和第三帧界定符中间的数据长度不固定。

码流结构

VideoToolBox之VTCCompressionSessionRef

VideoToolbox是iOS8以后开放的硬编码与硬解码的API，一组用C语言写的函数.VTCCompressionSessionRef是针对一连串的视频帧进行压缩,CF层的一个引用计数对象.
步骤:

1. VTCompressionSessionCreate 创建编码会话
2. VTSessionSetProperty 配置相关属性
3. VTCompressionSessionPrepareToEncodeFrames
4. 拿到数据VTCompressionSessionEncodeFrame
5. 执行编码回调函数VTCompressionOutputCallback
6. VTCompressionSessionCompleteFrames
7. VTCompressionSessionInvalidate
8. CFRelease

关于视频捕捉主要使用AVFoundatio框架中的AVCaptureSession.不再叙述

1. VTCompressionSessionCreate 创建编码会话

//帧ID
    self.frameID = 0;
    int width = [UIScreen mainScreen].bounds.size.width;
    int height = [UIScreen mainScreen].bounds.size.height;
    //参数1:C语言函数一般第一个都有,分配器,传NULL或kCFAllocatorDefault
    //参数2,参数3:宽度,高度
    //参数4:编码类型 kCMVideoCodecType_H264
    //参数5:编码规范 传NULL VideoToolBox自行选择
    //参数6:源像素缓冲区
    //参数7:压缩数据分配器
    //参数8:回调函数
    //参数9:回调函数的引用
    //参数10:编码会话对象指针
    OSStatus status = VTCompressionSessionCreate(kCFAllocatorDefault, width, height, kCMVideoCodecType_H264, NULL, NULL, NULL, didCompressionOutputCallback, (__bridge void *)self, &_encodeSesssion);
    if (status != noErr) {
        NSLog(@"create compressionSession failed!");
        return;
    }

2. VTSessionSetProperty 配置相关属性

实时编码输出:kVTCompressionPropertyKey_RealTime
码率:图片进行压缩后每秒显示的数据量。
帧率：每秒显示的图片数。影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。
由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉暂留。并且当帧速达到一定数值后，再增长的话，人眼也不容易察觉到有明显的流畅度提升了。
分辨率：(矩形)图片的长度和宽度，即图片的尺寸
压缩前的每秒数据量:帧率X分辨率(单位应该是若干个字节)
压缩比:压缩前的每秒数据量/码率 （对于同一个视频源并采用同一种视频编码算法，则：压缩比越高，画面质量越差。）

    //设置实时编码输出(否则会造成延迟)
    VTSessionSetProperty(self.encodeSesssion, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);
    
    //设置码率(码率:编码效率,码率越高,则画面越清晰,如果码率较低则会引起马赛克 -->码率高有利于还原原始画面,但是不利于传输)
    int bitRate = 800 * 1024;
    CFNumberRef bitRateRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRate);
    VTSessionSetProperty(self.encodeSesssion, kVTCompressionPropertyKey_AverageBitRate, bitRateRef);
    
    NSArray *limit = @[@(bitRate * 1.5/8),@(1)];
    VTSessionSetProperty(self.encodeSesssion, kVTCompressionPropertyKey_DataRateLimits, (__bridge CFArrayRef)limit);
    
    
//    VTSessionSetProperty(self.encodeSesssion, kVTCompressionPropertyKey_ProfileLevel, );
    
    //设置期望帧率(每秒多少帧,如果帧率过低,会造成画面卡顿)
    int fps = 30;
    CFNumberRef fpsRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &fps);
    VTSessionSetProperty(self.encodeSesssion, kVTCompressionPropertyKey_ExpectedFrameRate, fpsRef);
    
    //设置关键帧（GOPsize)间隔
    int frameInterval = 30;
    CFNumberRef frameRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &frameInterval);
    VTSessionSetProperty(self.encodeSesssion, kVTCompressionPropertyKey_MaxKeyFrameInterval, frameRef);
    

3. VTCompressionSessionPrepareToEncodeFrames

准备编码

VTCompressionSessionPrepareToEncodeFrames(self.encodeSesssion);

4. 拿到数据VTCompressionSessionEncodeFrame

使用AVFoundation执行输出的代理方法,得到数据,一般是CMSampleBufferRef类型,编码前后的数据分别为:

CMSampleBufferRef

而编码完成会执行创建的时候传入的回调函数.

- (void)encodeSampleBuffer:(CMSampleBufferRef)sampleBuffer{
    
    //1.获取CVImageBuffer作为编码的参数之一
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
    
    //2.CMTime 创建时间,更新当前的帧数
    CMTime presenttationTimeStamp = CMTimeMake(self.frameID++, 1000);
    
    //3.VTEncodeInfoFlags
    VTEncodeInfoFlags flags;
    
    //编码
    OSStatus status = VTCompressionSessionEncodeFrame(_encodeSesssion, imageBuffer, presenttationTimeStamp, kCMTimeInvalid, NULL, (__bridge void *)(self), &flags);
    if (status != noErr) {
        NSLog(@"VTCompressionSessionEncodeFrame Failed!");
    }
}

5. 执行编码回调函数VTCompressionOutputCallback

void didCompressionOutputCallback(void *outputCallbackRefCon,void *sourceFrameRefCon,OSStatus status,VTEncodeInfoFlags infoFlags,CMSampleBufferRef sampleBuffer ){
    
    //1.判断状态
    if (status != noErr) {
        NSLog(@"callBack failed!");
        return;
    }
    
    //2.获取传入的参数
    VideoEncode *encode = (__bridge VideoEncode *)outputCallbackRefCon;
    
    //3.判断是否是关键帧
    CFArrayRef arrayRef = CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true);
    bool isKeyFrame = !(CFDictionaryContainsKey(CFArrayGetValueAtIndex(arrayRef, 0), kCMSampleAttachmentKey_NotSync));
    
    //4.获取SPS PPS数据
    if (isKeyFrame) {
        //获取编码后的信息(存储于CMFormatDescriptionRef中)
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);
        
        //获取SPS信息
        size_t sparameterSetSize,sparameterSetCount;
        const uint8_t *sparameterSet;
        CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0);
        
        //获取PPS信息
        size_t pparameterSetSize,pparameterSetCount;
        const uint8_t *pparameterSet;
        CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0);
        
        //转成NSData数据,写入文件
        NSData *sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
        NSData *pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];
        
        //写入文件
        [encode gotSps:sps pps:pps];
    }
    
    //5.获取数据块
    CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
    size_t length,totalLength;
    char *dataPointer;
    OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
    
    if (statusCodeRet == noErr) {
        size_t bufferOffset = 0;
        //返回的NALU数据前四个字节不是0001的startCode,而是大端模式的帧长度length
        static const int AVCCHeaderLength = 4;
        
        //循环获取NALU数据
        while (bufferOffset < totalLength - AVCCHeaderLength) {
            uint32_t NALUnitLength = 0;
            
            //读取NAL unit length
            memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);
            
            //从大端转系统端
            NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
            
            NSData *data = [[NSData alloc]initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
            [encode gotEncodedData:data];
            
            // 移动到写一个块，转成NALU单元
            // Move to the next NAL unit in the block buffer
            bufferOffset += AVCCHeaderLength + NALUnitLength;
        }
    }
    
}

写入SPS,PPS

//SPS PPS
- (void)gotSps:(NSData *)sps pps:(NSData *)pps{
    // 1.拼接NALU的header
    const char bytes[] = "\x00\x00\x00\x01";
    size_t length = (sizeof(bytes) - 1);
    NSData *byteHeader = [NSData dataWithBytes:bytes length:length];
    
    //2.将NALU的头&NALU的体写入文件
    [self.fileHandle writeData:byteHeader];
    [self.fileHandle writeData:sps];
    [self.fileHandle writeData:byteHeader];
    [self.fileHandle writeData:pps];
    
}

写入主数据

- (void)gotEncodedData:(NSData *)data{
    NSLog(@"length:%d",(int )[data length]);
    
    if (self.fileHandle != NULL) {
        const char bytes[] = "\x00\x00\x00\x01";
        //String literals have implicit trailing '\0'
        size_t length = (sizeof(bytes) - 1);
        NSData *byteHeader = [NSData dataWithBytes:bytes length:length];
        [self.fileHandle writeData:byteHeader];
        [self.fileHandle writeData:data];
    }
}

6.结束编码

调用编码完成函数,将编码会话销毁,释放资源

- (void)endEncode{
    
    VTCompressionSessionCompleteFrames(_encodeSesssion, kCMTimeInvalid);
    VTCompressionSessionInvalidate(_encodeSesssion);
    CFRelease(_encodeSesssion);
    _encodeSesssion = NULL;
    _frameID = 0;
    
}

参考:http://www.voidcn.com/blog/onion2007/article/p-4428513.html