过往开发的项目中,也陆续用到过一些音频、视频开发相关知识.迟迟未能整理,现今开始整理一番,温故知新,同时也算是再学习一遍! 整理过程以直播应用为切入点来进行!
关键词: AVCaptureSession AVCaptureDevice AVCaptureDeviceInput AVCaptureVideoDataOutput AVCaptureMovieFileOutput AVCaptureVideoPreviewLayer AVCaptureSessionPreset AVCaptureDevicePosition AVCaptureTorchMode AVCaptureFocusMode AVCaptureExposureMode AVCaptureFlashMode AVCaptureWhiteBalanceMode AVLayerVideoGravity AVCaptureVideoOrientation kCVPixelBufferPixelFormatTypeKey AVCaptureVideoStabilizationMode CMSampleBufferRef
一. 名词解释
AVCaptureSession: 一个用于管理捕获活动,并协调从输入设备到捕获输出的数据流的对象。就是捕获图像、视频数据,并获取数据的一个管理器.
AVCaptureDevice: 提供为AVCaptureSession输入的设备.
AVCaptureVideoDataOutput: 视频输出对象,将输出内容为CMSampleBufferRef,在session代理(AVCaptureVideoDataOutputSampleBufferDelegate)中可收到,输出回调
AVCaptureMovieFileOutput: 视频输出对象,将视频录制到文件,可以设置代理(AVCaptureFileOutputRecordingDelegate),在代理中查看录制进度
// 创建管理器
AVCaptureSession *captureSession = [[AVCaptureSession alloc] init];
// 查找默认的视频 设备
/*
AVMediaType:
AVMediaTypeVideo
AVMediaTypeAudio
AVMediaTypeMuxed
...
*/
AVCaptureDevice *audioDevice =
[AVCaptureDevice defaultDeviceWithMediaType:AVMediaTypeVideo];
// 将设备包装为一个输入
NSError *error = nil;
AVCaptureDeviceInput *audioInput =
[AVCaptureDeviceInput deviceInputWithDevice:audioDevice error:&error];
if (audioInput) {
// 如果可以,将输入添加到 管理器
if ([captureSession canAddInput:audioInput]) {
[captureSession addInput:audioInput];
}
} else {
// 失败
}
//创建视频输出对象
AVCaptureVideoDataOutput *videoDataOutput = [[AVCaptureVideoDataOutput alloc] init];
//添加输出对象
if ([session canAddOutput:videoDataOutput]) {
[session addOutput:videoDataOutput];
}
AVCaptureVideoPreviewLayer: 视频预览层,图像/视频在该层中呈现.
AVCaptureSessionPreset: 用于配制session的图片/视频 输出质量和分辨率
//Full photo resolution 不支持视频输出
AVCaptureSessionPresetPhoto
//最高质量 音&视频 输出
AVCaptureSessionPresetHigh
//中等质量 适合通过Wi-Fi共享
AVCaptureSessionPresetMedium
//最低质量(352x288) 适合3G传输
AVCaptureSessionPresetLow
//CIF质量(Common Intermediate Format) 用于监控
AVCaptureSessionPreset352x288
//VGA质量(640X480)
AVCaptureSessionPreset640x480
//720P HD
AVCaptureSessionPreset1280x720
//1080P
AVCaptureSessionPreset1920x1080
//UHD / 4K
AVCaptureSessionPreset3840x2160
//960x540 quality iFrame H.264 video at about 30 Mbits/sec with AAC audio.
AVCaptureSessionPresetiFrame960x540
//1280x720 quality iFrame H.264 video at about 40 Mbits/sec with AAC audio.
AVCaptureSessionPresetiFrame1280x720
//指明session不控制音视频的输出.
AVCaptureSessionPresetInputPriority
AVCaptureDevicePosition: 设备位置,未分配、前面设备、后边设备
AVCaptureTorchMode: 手电筒模式, on 、off、auto
AVCaptureFocusMode: 对焦模式
//锁定 保持当前围追
AVCaptureFocusModeLocked
//自动 调节位置
AVCaptureFocusModeAutoFocus
//连续自动 调节
AVCaptureFocusModeContinuousAutoFocus
AVCaptureFlashMode: 闪光灯模式
AVCaptureFlashModeOff
AVCaptureFlashModeOn
AVCaptureFlashModeAuto
AVCaptureExposureMode: 曝光模式
//曝光锁定 曝光值保持不变
AVCaptureExposureModeLocked
//自动调节
AVCaptureExposureModeAutoExpose
//连续自动调节
AVCaptureExposureModeContinuousAutoExposure
//自定义
AVCaptureExposureModeCustom
AVCaptureWhiteBalanceMode: 白平衡, 调节画面冷暖色调, 还原真实色彩.
物理学中色温: 标准黑色体从绝对零度开始加热,随着温度升高, 黑体表面颜色从红色渐变为蓝色. 温度越低颜色越红,温度越高颜色越蓝
摄影中色温: 与物理学中相反. 色温K值越小,画面色彩偏蓝,色温K值越大,画面偏黄.
//锁定 保持当前值
AVCaptureWhiteBalanceModeLocked
//自动 调节
AVCaptureWhiteBalanceModeAutoWhiteBalance
//连续自动 调节
AVCaptureWhiteBalanceModeContinuousAutoWhiteBalance
AVCaptureVideoOrientation: 视频方向,在AVCaptureConnection上设置. 设置方向不一定会引起视频缓冲区的物理旋转(AVCaptureMovieFileOutput,AVCaptureStillImageOutput 不受此影响). 如果是AVCaptureVideoDataOutput,则会在回调函数中收到,物理旋转的像素缓冲区. 另外设置videoMirrored(图像镜像)也可引起物理缓冲区旋转.
kCVPixelBufferPixelFormatTypeKey: 像素格式
AVCaptureVideoStabilizationMode: 视频稳定模式(用于指定稳定算法)
CMSampleBufferRef: 图像数据容器
二. 接收数据
- AVCaptureFileOutputRecordingDelegate
此代理针对于录制到文件
- AVCaptureVideoDataOutputSampleBufferDelegate
此代理,会在回调方法中,将像素缓冲区返回,用于下一步处理
//如果要长时间保留CMSampleBufferRef对象,最好将数据复制到新缓冲区中,这样当前CMSampleBufferRef可以被重用, 否则 会出现丢帧
- (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
if(!CMSampleBufferDataIsReady(sampleBuffer)) {
NSLog( @"sample buffer is not ready. Skipping sample" );
return;
}
if ([output isKindOfClass:[AVCaptureVideoDataOutput class]] == YES) {
[self calculatorCaptureFPS];
CVPixelBufferRef pix = CMSampleBufferGetImageBuffer(sampleBuffer);
self.realTimeResolutionWidth = (int)CVPixelBufferGetWidth(pix);
self.realTimeResolutionHeight = (int)CVPixelBufferGetHeight(pix);
// NSLog(@"capture: video data");
}else if ([output isKindOfClass:[AVCaptureAudioDataOutput class]] == YES) {
// NSLog(@"capture: audio data");
}
if ([self.delegate respondsToSelector:@selector(ffyCaptureOutput:didOutputSampleBuffer:fromConnection:)]) {
[self.delegate ffyCaptureOutput:output didOutputSampleBuffer:sampleBuffer fromConnection:connection];
}
}
未完...,后续补全代码
