音视频基础知识:流媒体核心技术梳理

​问题背景:

这个公众号已经发了十几篇文章,阅读量和订阅数也在稳定增长。为了后面大家交流更顺畅,大概知道每篇文章在音视频技术体系的位置。利用周末画了个脑图,梳理了下音视频核心技术体系,当然这张图不会包含所有流媒体的技术,如果有遗漏,你可以私信我。我会在后面补充和丰富起来,让进门的小白能找到自己的位置,赠人玫瑰,手留余香。

如果你对本篇文章感兴趣或者实际你们遇到了什么开发问题,抑或这篇文章跟你的工作有关系想了解具体实现细节,加个人微信:

了解更多可以关注本人公众号:智媒黑板报

下面用两张图来构建音视频技术人交流的行话,让你快速找到在整个流媒体技术体系所处的位置。

音视频核心技术体系:

音视频数据一定是从采集的原始数据,经过前处理,再经过编码形成压缩后的数据。压缩后的数据为了发送出去,所以需要把压缩后的音视频裸数据打包在一个容器,这就是封装要做的事情。封装后的数据通过一定的传输协议发送到客户端,不同的传输协议有不同的业务场景和适合自己的音视频封装格式。播放客户端要做的事情刚好是逆过程,先判断封装格式 ,再从容器中将音视频数据分离提取出来,最后进行解码和渲染到屏幕上。

研究音视频整个系统是一件有门槛的事情,刚进门时需要找准自己的位置,把自己这块的输入和输出搞清楚,再逐渐横向扩展。WebRTC初学者就发现里面的内容不是 一时半会能研究透彻的,这是因为WebRTC就是一个流媒体系统的解决方案,而不是为了解决音视频一个特定问题。这个公众号就是先学习WebRTC下面的边边角角,最后再上升到WebRTC代码内部进行系统性学习,希望大家耐住性子慢慢来,一点点的理解RFC文档,这样我相信能走得更远点,让大家知其然还知其所以然。

音视频系统架构图:

重要事情说三遍,解决问题时,一定要明白自己问题在这个图的位置。这样抓住输入和输出,就能达到事半功倍的效果。

今天就说这么多,祝您心情愉快,工作顺利!

如果有疑问,你可以在公众号后台发消息咨询我。

往期文章回顾:

音视频封装:FLV格式详解和打包H264、AAC方案(下)

音视频封装:FLV格式详解和打包H264、AAC方案(上)

音视频常见问题分析和解决:延时和抖动

音视频封装格式:AAC音频基础和ADTS打包方案详解

音视频封装:MPTG2-TS 媒体封装实例解析和说明

音视频基础知识-时间戳的理解

个人转载内容至朋友圈和群聊天,无需特别申请版权许可。

引用转载该订阅号文章,注明文章来源即可。

记得右下角点“在看”,还可以关注该订阅号,防止遗漏推送哦

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,324评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,356评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,328评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,147评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,160评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,115评论 1 296
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,025评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,867评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,307评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,528评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,688评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,409评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,001评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,657评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,811评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,685评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,573评论 2 353

推荐阅读更多精彩内容

  • 一直想把视音频编解码技术做一个简单的总结,可是苦于时间不充裕,一直没能完成。今天有着很大的空闲,终于可以总结...
    视频音频小白阅读 1,684评论 1 13
  • 封装好了的函数load:作用:异步加载页头和页脚;创建header.php与footer.php公共部分分别放入p...
    Cherish丶任阅读 462评论 0 0
  • 通知机制想必大家都很熟悉,平常的开发中或多或少的应该都用过。它是 Cocoa 中一个非常重要的机制,能把一个事件发...
    小小土豆dev阅读 2,599评论 0 4
  • 和你一起,不负终老 凌晨4点我被卫生间传出来的水声吵醒, 你都还是这么爱美。 就要到我们结婚10周年的纪念日了, ...
    二馨呀阅读 167评论 0 0
  • 抬起平静的手 止不住乱发的誓 燕过檐留不下背影 雨整夜拢不起相思 昨日又复昨日醉 明日岂可待人归? 转灯漏光的角落...
    沉默的话痨阅读 229评论 2 5