前言
随着移动互联网行业的快速发展，音视频技术在Android平台上的应用日益广泛，从在线直播、短视频、语音通话到沉浸式游戏体验，音视频处理成为了Android开发工程师必须掌握的关键技能之一。
今天给大家深入剖析一下Android音视频涉及的关键知识点、实战经验和面试常见问题，助您成功应对各类音视频开发岗位的挑战。
一、基础概念与技术栈
- 音频编码与解码
- PCM（Pulse Code Modulation）：原始音频数据格式，通常需要经过编码转换为高效传输的压缩格式，如AAC、MP3。
- 音频编解码器：例如AAC、Opus、AMR-NB/WB等，掌握它们的特点、应用场景及在Android中的集成方式。
- 视频编码与解码
- H.264、H.265、VP8、VP9等视频编码标准的理解，以及在不同场景下的优缺点对比。
- MediaCodec API：Android系统提供的硬编码/解码接口，用于高效处理音视频数据。
- 容器格式
- MP4、MKV、FLV等容器格式的基本结构，以及如何在Android中读取和封装这些格式。
- 音视频同步
- 描述音视频同步的原理和方法，包括PTS/DTS的含义与作用。
二、Android音视频处理框架
- MediaPlayer 和 ExoPlayer：比较两者在功能、性能和扩展性上的差异，明确何时选用何种播放器。
- AudioTrack 和 OpenSL ES：掌握其在音频输出中的作用，以及如何优化音频播放性能。
- 音视频采集与推流
- Camera2 API：理解和使用Camera2进行音视频采集，包括控制相机参数、预览与录制。
- RTMP、HLS、HTTP-FLV等流媒体协议，以及如何利用开源库（如librtmp、ijkplayer）进行音视频推流。
- 实时通信技术
- WebRTC框架在Android上的应用，了解其音视频通话的流程和关键组件，如PeerConnection、DataChannel等。
- 针对实时音视频通话的延迟优化策略，如缓冲区控制、网络抖动适应算法等。
音视频常见面试题
- 怎么做到直播秒开优化？
- 数字图像滤波有哪些方法？
- 图像可以提取的特征有哪些？
- FFMPEG:图片如何合成视频
- 常见的音视频格式有哪些？
- 请叙述MPEG视频基本码流结构？
- 说一说ffffmpeg的数据结构？
- 如何降低延迟？如何保证流畅性？如何解决卡顿？解决网络抖动？
- 平时说的软解和硬解，具体是什么？
如何学习音视频
音视频技术学起来并不容易，要懂的东西太多：音视频的采集、编码、传输、解码、渲染... 等等，网上也少见体系化的资料。
为了帮助大家能够系统的学习音视频，特地分享一份由字节内部大佬整理的音视频开发教程含面试题的资料，文章内容，图文代码结合，知识点讲解透彻，更易掌握，适合初/中学者以及转行的人学习。
音视频开发教程含面试题
第一章、WebRTC 发送方码率预估实现解析
- 1.基于延迟的拥塞控制原理
- 2.Pacing和包组
- 3.TransportFeedback RTCP报文
- 4.发送方码率预估
- 5.根据探测的网络情况, 预估码率
- 6.发送方码率预估的算法流程
第二章、码率控制基本概念
- 1.X264 中码率控制
- 2.X264 中关于 QP设置
第三章、Speex回声消除代码分析
第四章、房间声学原理与Schroeder混响算法实现
第五章、H264系列--压缩编码技术
- 1.宏块
- 2.帧分组（即GOP）
- 3.运动估计与运动补偿
- 4.帧内压缩(这部分也看不懂,后面补充)
- 5.帧内预测,计数残差值
第六章、RTSP 媒体协议流的录制方案及其覆盖策略详解
- 1.录制视频格式调研
- 2.录制方案选择
- 3.异常处理
- 4.覆盖策略
第七章、webrtc建立连接之ICE框架
- 1.ICE介绍
- 2.ICE架构
- 3.ICE基本功能
- 4.连通性检查
第八章、流媒体协议介绍（rtp/rtcp/rtsp/rtmp/mms/hls）
- 1.RTP
- 2.RTCP
- 3.SRTP & SRTCP
- 4.RTSP
第九章、音视频同步原理及实现
- 1.音视频同步简单介绍
- 2.DTS和PTS简介
- 3.常用同步策略
- 4.音视频同步简单示例代码
第十章、直播概念和流程框架
- 1.直播初始
- 流媒体（直播需要用到流媒体）
- 直播基础知识介绍
- 4 如何快速的开发一个完整的直播app
第十一章、CDN在直播中的运用
- 1.CDN技术原理
- 2.CDN的常用架构
- 3.采用CDN的缺点
第十二章、常见音视频编码格式
- 1.常见的音频编码格式
- 2.各种编码比较
- 3.常见的视频编码格式
第十三章、H.264官方软件JM源代码分析-编码器lencod
- 1.函数调用关系图
- 2.下面解释一下图中关键标记的含义。
- 3.下文记录结构图中几个关键的部分。
第十四章、H.264官方软件JM源代码分析-解码器ldecod
- 1.函数调用关系图
- 2.普通内部函数
- 3.解析函数（Parser）
- 4.熵解码函数（Entropy Decoding）
- 5.解码函数（Decode）
第十五章、Android 音视频技术
- 1.整体流程
- 2.数据采集
- 3.数据处理
- 4.数据编码
第十六章、Web前端WebRTC攻略-媒体协商与SDP简析
- 1.媒体协商
- 2.SDP
- 3.参考文章
第十七章、基于FFmpeg的AVfilter的例子-纯净版
- 1.流程图
- 2.代码
- 3.结果
- 4.下载
第十八章、WebRTC 传输安全机制第二话：深入显出 SRTP 协议
- 1.要解决的问题
- 2.SRTP/SRTCP结构
- 3.Key管理
- 4.序列号管理
第十九章、WebRTC能给我带来什么？
第二十章、视音频数据处理：RGB、YUV像素数据处理
- 1.函数列表
- 2.项目主页
第二十一章、视音频数据处理：PCM音频采样数据处理
- 1.函数列表
- 2.项目主页
第二十二章、视音频数据处理：H.264视频码流解析
第二十三章、视音频数据处理：AAC音频码流解析
第二十四章、视音频数据处理：FLV封装格式解析
- 1.原理
- 2.代码
- 3.结果
- 4.项目主页
第二十五章、视音频数据处理：UDP-RTP协议解析
- 1.原理
- 2.代码
- 3.结果
- 4.项目主页
第二十六章、如何生成mp4文件
- 1.创建文件
- 2.写入视频数据
- 3.结束
- 4.代码
第二十七章、ffmpeg滤镜的基本使用
- 1.滤镜
- 2.简单滤镜
- 3.复杂滤镜
第二十八章、webRTC是如何实现音视频的录制
- 1.什么是webRTC
- 2.webRTC音视频数据采集
- 3.webRTC获取约束
第二十九章、音视频同步算法
- 1.ffplay简介
- 2.为什么要做音视频同步
- 3.音视频同步算法
- 4.音视频时间偏差计算
第三十章、房间声学原理与Schroeder混响算法实现
第三十一章、一个频域语音降噪算法实现及改进方法
第三十二章、HEVC官方软件HM源代码分析-编码器TAppEncoder
- 1.函数调用关系图
- 2.普通内部函数
- 3.CU编码函数
- 4.熵编码函数
第三十三章、HEVC官方软件HM源代码分析-解码器TAppDecoder
- 1.函数调用关系图
- 2.普通内部函数
- 3.解析函数（Parser）
- 4.熵解码函数（Entropy Decoding）
第三十四章、音视频编解码常用知识点
- 1.视频播放器原理
- 2.流媒体协议
- 3.封装格式（容器）
- 4.编解码
第三十五章、微信小程序集成实时音视频通话功能
- 1.背景
- 2.腾讯云——实时音视频
- 3.使用前提
- 4.快速入门
第三十六章、视音频编解码技术零基础学习方法
- 1.生活中的视音频技术
- 2.视频播放器原理
- 3.流媒体协议
- 4.封装格式
第三十七章、RTSP协议学习
- 1.RTSP简介
- 2.RTSP和HTTP RTP(RTCP)的关系
- 3.简单的rtsp交互过程
- 4.RTSP中常用方法
第三十八章、HEVC码流分析
第三十九章、H.264简单码流分析
第四十章、MPEG2简单码流分析
第四十一章、视频码流分析工具
第四十二章、视音频编解码学习工程：H.264分析器
- 1.项目主页
- 2.软件使用介绍
- 3.软件源代码简析
第四十三章、FFmpeg架构之I/O模块分析
- 1.概述
- 2.相关数据结构介绍
第四十四章、[Video and Audio Data Processing] UDP-RTP协议解析
- 1.概念
- 2.代码
第四十五章、RTSP协议实例分析
- 1.前言
- RTSP的请求方法
- RTSP的实例抓包分析
- RTP音视频数据的载体
第四十六章、RTSP协议之TCP/UDP问题
- 1.前言
- 2.RTSP之TCP与UDP方式区别
- 3.总结
第四十七章、ffplay工具命令使用技巧
- 1.前言
- 2.使用技巧
- 3.番外篇
- 4.总结
第四十八章、VLC RTSP网络串流播放失败
- 1.问题描述
- 2.解决方法
- 3.解决效果
第四十九章、RTMP协议详解
- 1.RTMP协议介绍
- 2.包结构
- 3.握手
- 4.发送顺序
第五十章、STUN 原理理解
- 1.STUN简介
- 2.为什么需要STUN？
- 3.STUN主要功能
- 4.stun 的NAT 类型探测流程
开源框架
- 实时音视频开源项目
- 其他音视频开源项目
实践项目
- 音视频通话项目
- Android/iOS视频播放器
- 仿网易云音乐安卓版客户端
- ........
有需要以上的朋友可以关注一下哇哇，以上都可以分享！！！
有需要以上的朋友可以关注一下哇哇，以上都可以分享！！！
