Audio Unit和ExtendedAudioFile播放音频

前言

相关文章:
使用VideoToolbox硬编码H.264
使用VideoToolbox硬解码H.264
使用AudioToolbox编码AAC
使用AudioToolbox播放AAC
HLS点播实现(H.264和AAC码流)
HLS推流的实现(iOS和OS X系统)
iOS在线音频流播放
Audio Unit播放PCM文件
Audio Unit录音(播放伴奏+耳返)
Audio Unit播放aac/m4a/mp3等文件
前文介绍了AudioUnit的录音/播放功能,也介绍了通过AudioConvert进行音频的转换,但是AudioConvert的API使用起来较为麻烦,除了需要调用AudioFileGetProperty获取许多信息之外,还要调用AudioConverterFillComplexBuffer进行ConvertBuffer的填充,并在其数据输入回调中调用AudioFileReadPacketData,且要考虑AudioStreamPacketDescription的赋值。
本文尝试使用更为简单的方法 Extended Audio File Services
Extended Audio File Services是high-level的API,提供音频文件的读/写,是Audio File Services 和 Audio Converter Services 的结合,在AudioFile和AudioConvert的基础上提供统一的接口进行读写操作。

正文

概念储备

  • ExtAudioFileOpenURL是新建一个ExtAudioFileRef,用于读取音频文件;
  • ExtAudioFileWrapAudioFileID是通过一个已有的AudioFileID,创建一个ExtAudioFileRef;
    开发者必须保证在ExtAudioFileRef被销毁前,AudioFileID是处于打开的状态,并且在ExtAudioFileRef被销毁后,手动关闭AudioFileID;
  • ExtAudioFileGetProperty 获取对应PropertyID的属性;
  • ExtAudioFileGetProperty 获取设置PropertyID的属性;
    ExtAudioFile对应的PropertyID如下
CF_ENUM(ExtAudioFilePropertyID) {
    kExtAudioFileProperty_FileDataFormat        = 'ffmt',   // AudioStreamBasicDescription
    kExtAudioFileProperty_FileChannelLayout     = 'fclo',   // AudioChannelLayout
    kExtAudioFileProperty_ClientDataFormat      = 'cfmt',   // AudioStreamBasicDescription
    kExtAudioFileProperty_ClientChannelLayout   = 'cclo',   // AudioChannelLayout
    kExtAudioFileProperty_CodecManufacturer     = 'cman',   // UInt32
    
    // read-only:
    kExtAudioFileProperty_AudioConverter        = 'acnv',   // AudioConverterRef
    kExtAudioFileProperty_AudioFile             = 'afil',   // AudioFileID
    kExtAudioFileProperty_FileMaxPacketSize     = 'fmps',   // UInt32
    kExtAudioFileProperty_ClientMaxPacketSize   = 'cmps',   // UInt32
    kExtAudioFileProperty_FileLengthFrames      = '#frm',   // SInt64
    
    // writable:
    kExtAudioFileProperty_ConverterConfig       = 'accf',   // CFPropertyListRef
    kExtAudioFileProperty_IOBufferSizeBytes     = 'iobs',   // UInt32
    kExtAudioFileProperty_IOBuffer              = 'iobf',   // void *
    kExtAudioFileProperty_PacketTable           = 'xpti'    // AudioFilePacketTableInfo
};

介绍其中常用的属性:

  • kExtAudioFileProperty_FileDataFormat:读取文件格式,只读,返回文件的ASBD;

  • kAudioFormatProperty_FormatInfo:根据给定的格式,尽可能填充格式的其他信息。

  • kExtAudioFileProperty_ClientDataFormat:设置这个属性,才能进行对非pcm格式的文件进行编解码,这个格式也是ExtAudioFileRead 和 ExtAudioFileWrite 时的格式。

  • kExtAudioFileProperty_FileLengthFrames:文件的长度,单位是sample frames,获取前需要先设置好输入和输出的格式;

  • kExtAudioFileProperty_AudioConverter,是获取系统的AudioConverterRef,如果在获取之后,手动修改converter的属性,比如说码率,必须通过kExtAudioFileProperty_ConverterConfig设置ExtAudioFileRef;

  • kExtAudioFileError_CodecUnavailableInputConsumed:当ExtAudioFileWrite被打断的时候会返回这个错误,需要先停止调用ExtAudioFileWrite,等待audioSession恢复,并调用AudioSessionSetActive,再进行resuming;与kExtAudioFileError_CodecUnavailableInputNotConsumed的区别是,前者的buffer已经被使用,下次调用需要赋值新的buffer,后者需要再次提供相同的buffer;

具体细节

  • 1、初始化AVAudioSession和AudioBufferList;

  • 2、通过url打开ExtAudioFileRef,并通过ExtAudioFileGetProperty获取文件格式;初始化读取的格式,并通过ExtAudioFileSetProperty设置给ExtAudioFileRef;输入和输出格式设置,类似初始化AudioConvert的过程。

  • 3、初始化AudioUnit,并设置输入的格式与ExtAudioFileRef的输出格式一致;

  • 4、在AudioUnit的播放回调中调用ExtAudioFileRead读取ExtAudioFileRef的数据,如果读取返回的数组长度是0表示播放结束;

demo播放

遇到的问题

1、获取的音频frame帧数不正常

如果在未设置好输入输出格式前,就通过kExtAudioFileProperty_FileLengthFrames获取的总frame数,此时获取的frame是不准确的,并且会导致后续的操作错误。
正确的做法是先设置好 kExtAudioFileProperty_ClientDataFormat属性的值,再获取总的frame数。

2、播放进度不准确

播放的进度=当前播放的帧数/音频文件的总帧数;
进度不准确问题是因为获取的是frame数,之前在计算已播放的帧数时没有正确的把读取的字节长度除以输出格式的mBytesPerFrame。
当前已播放的帧数 += 读取的字节长度 / ASBD.mBytesPerFrame。

总结

ExtendedAudioFile相对Audio File Services 和 Audio Converter Services ,API调用非常简单和明确,并且不需要去处理AudioStreamPacketDescription,在实际开发中逻辑更为清晰。
demo 的代码在这里,可以看到ExtendedAudioFile具体使用方式。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,033评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,725评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,473评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,846评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,848评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,691评论 1 282
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,053评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,700评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,856评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,676评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,787评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,430评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,034评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,990评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,218评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,174评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,526评论 2 343

推荐阅读更多精彩内容