前一篇文章提到,显示视频画面有两种方法。
- CVPixelBuffer转换为CGImage,交给NSImageView或UIImageView
- 交给OpenGL渲染
OpenGL学习曲线比较陡峭,他的思想和Cocoa完全不同。目前网络上多为OpenGL ES教程,可编程管线也是一个挺复杂的东西。
但是,以苹果的风格,不太可能让开发者为这么常见的需求就去学OpenGL了,一定还有更简单的方法!果然,苹果提供了一个直接显示CMSampleBuffer的Layer——AVSampleBufferDisplayLayer
AVSampleBufferDisplayLayer这个类用法非常之简单。它本身是一个CALayer,所以可以非常方便的放在界面中。剩下的就是把数据交给它。
AVSampleBufferDisplayLayer使用了类似AudioQueue的数据sink方式,使用- (void)enqueueSampleBuffer:(CMSampleBufferRef)sampleBuffer
喂数据。不同点是,AudioQueue通过C Callback Function请求,DisplayLayer通过block。
- (void)requestMediaDataWhenReadyOnQueue:(dispatch_queue_t)queue
usingBlock:(void (^)(void))block
对于视频采集,采集的速度其实是恒定的,且小于Render显示的速度。因此,我们没有必要用到缓冲队列,有数据来的时候直接塞给它就好了
- (void)captureOutput:(AVCaptureOutput *)captureOutput
didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer
fromConnection:(AVCaptureConnection *)connection
{
static CMFormatDescriptionRef desc;
if (!desc) {
desc = CMSampleBufferGetFormatDescription(sampleBuffer);
NSLog(@"%@", desc);
}
#ifdef QUARTZ
NSImage *nsImage = [self imageFromSampleBuffer:sampleBuffer];
[self.cameraView performSelectorOnMainThread:@selector(setImage:) withObject:nsImage waitUntilDone:NO];
#endif
#ifdef LAYER
if (_videoLayer.readyForMoreMediaData) {
[_videoLayer enqueueSampleBuffer:sampleBuffer];
} else {
// drop frame
}
#endif
[self frameUpdate];
}
That's all.
AVSampleBufferDisplayLayer非常之高效,播放时CPU占用率只有2%,比AVCaptureVideoPreviewLayer还要高效!缺点也有:
- 对采集的kCVPixelBufferPixelFormatTypeKey有挑剔,有些图像格式是不支持的。
- 数据格式必须是CMSampleBuffer,所以,如果数据不是从AVFoundation过来的,就得自己构造该对象了。
从目前看来,AVSampleBufferDisplayLayer应该是最佳选择,但是它的可定制性太差,限制也比较多。因此,后面我还将继续探究OpenGL的实现方式。