视频开发（1）- 基础知识点整理

话说音视频播放现在真是不搞不行啦，不光我们要从市面上 N 多的播放器中找出好用的，熟悉其 API ，甚至还需要我们能利用开源解码器来编写我们自己的视频播放器，模块，这点在越来越不一样，差异化的播放器中可以看得见，很多 app 不光播放器 UI 不一样，甚至很多逻辑都不同

所以大家努力吧，先不求能搞定 FFMG 编解码等底层技术，至少我们现在得能利用 ijkPlayer 编写自己的视频播放器出来，才能彻底搞得定 app 端的播放需求，要是打算自己上直播推流 sdk ，那么学的就更多了，都是得按年来计算了，音视频水太神了，至少要求我们得搞定 UI 部分才行，在视频这块用别人开源的播放器是走不远的，因为需求差异性太大

录制音视频 AudioRecord/MediaRecord

视频的基础知识点推荐看下面：

视频流媒体协议有哪些

  • HTTP
    -> 最传统的视频流媒体，不支持实时流媒体的播放
  • RTMP
    -> Adobe 公司用于 flash 播放的
  • RTSP
    -> android 原生支持此种流媒体协议
  • FLV
  • HLS
    -> apple 公司开发，把视频分成 3-10 秒的小段，下发 m3u8 文件来标记文件顺序，使用 HTTP、HTTPS 传输
  • MMS
    -> 微软公司开发的

官方原生播放器 MediaPlayer

MediaPlayer 是 Androd 多媒体框架中的一个重要组件，通过该类，我们可以解码和播放音视频，但是 MediaPlayer 本身只支持 音频 播放，需要传入专门的视频承载 view 才能播放视频

MediaPlayer 可以支持三种不同的媒体来源：

  • 本地资源
  • 内部URI，比如你可以通过ContentResolver来获取
  • 外部URL(流)

MediaPlayer支持两种流媒体协议，HTTP 和 RTSP，这两种协议最大的不同是，RTSP 协议支持实时流媒体的播放，而 HTTP 协议不支持

原生 MediaPalyer 支持的协议和封装格式实在太有限了，如果我们想播放那些它不支持的视频，这时候就需要第三方播放器了，很多第三方播放器的底层实现都是基于 FFmpeg

MediaPlayer 对于视频格式支持的也是非常少，值能支持： MP4,AVI,3DP 这3个早期的手机品是格式

开源的音视频解码器在 API 上都参考了 MediaPlayer ，所以学习 MediaPlayer API 就是我们的第一步

  1. 创建 MediaPlayer 对象，可以直接和本地资源绑定
MediaPlayer mp = new MediaPlayer();
MediaPlayer mp = MediaPlayer.create(this, R.raw.test); //无需再调用setDataSource
create(Context context, Uri uri, SurfaceHolder holder)
  1. 设置播放资源
MediaPlayer.create(this, R.raw.test); // raw下的资源
mp.setDataSource("/sdcard/test.mp3"); // 本地文件路径
mp.setDataSource("http://www.xxx.com/music/test.mp3");// 网络URL文件
  1. 播放资源
// uri 资源
Uri myUri = ....;   /**initialize Uri here*/
MediaPlayer mediaPlayer = new MediaPlayer();
mediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC);
mediaPlayer.setDataSource(getApplicationContext(), myUri);
mediaPlayer.prepare();
mediaPlayer.start();

// 网络文件
String url = "http://........"; // your URL here 
MediaPlayer mediaPlayer = new MediaPlayer();
mediaPlayer.setAudioStreamType(AudioManager.STREAM_MUSIC);
mediaPlayer.setDataSource(url);
mediaPlayer.prepareAsync()
mediaPlayer.setOnPreparedListener({
    // 加载完毕再开始播放
    mediaPlayer.start()
})
  1. MediaPlayer 主要 API，需要熟知
getCurrentPosition( )：得到当前的播放位置
getDuration() ：得到文件的时间
getVideoHeight() ：得到视频高度
getVideoWidth() ：得到视频宽度
isLooping()：是否循环播放
isPlaying()：是否正在播放
pause()：暂停
prepare()：准备(同步)
prepareAsync()：准备(异步)
release()：释放MediaPlayer对象
reset()：重置MediaPlayer对象
seekTo(int msec)：指定播放的位置（以毫秒为单位的时间）
setAudioStreamType(int streamtype)：指定流媒体的类型
setDisplay(SurfaceHolder sh)：设置用SurfaceHolder来显示多媒体
setLooping(boolean looping)：设置是否循环播放
setOnBufferingUpdateListener(MediaPlayer.OnBufferingUpdateListener listener)：网络流媒体的缓冲监听
setOnCompletionListener(MediaPlayer.OnCompletionListener listener)：网络流媒体播放结束监听
setOnErrorListener(MediaPlayer.OnErrorListener listener)：设置错误信息监听
setOnVideoSizeChangedListener(MediaPlayer.OnVideoSizeChangedListener listener)：视频尺寸监听
setScreenOnWhilePlaying(boolean screenOn)：设置是否使用SurfaceHolder显示
setVolume(float leftVolume, float rightVolume)：设置音量
start()：开始播放
stop()：停止播放

我们需要熟知下面这张 MediaPalyer 解码器生命周期图，所有的开源项目都是按这个思路来做的


播放器生命周期图

  • 状态1：Idel(空闲)状态
    当 mediaplayer创建或者执行reset()方法后处于这个状态。

  • 状态2：Initialized(已初始化)状态
    当调用mediaplayer的setDataResource()方法给mediaplayer设置播放的数据源后，mediaplayer会处于该状态。

  • 状态3：Prepared(准备就续)状态
    设置完数据源后，调用mediaplayer的prepare()方法，让mediaplayer准备播放。值得一提的是，这里除了prepare()方法，还有prepareAsnyc()方法，此方法是异步方法，一般用于网络视频的缓冲。当缓冲完毕后，就会触发准备完毕的事件。我们要做的就是监听该事件(OnPreparedListener)，当缓冲完成时，执行相应的操作。在此状态上，我们可以调用seekTo()方法定位视频，此方法不改变mediaplayer的状态；亦可调用stop()放弃视频播放，使mediaplayer处于Stopped状态。一般我们会在此状态上调用start()方法开始播放视频。

  • 状态4：Started(开始)状态
    当处于Prepared状态、Paused状态和PlayebackCompeleted状态时，调用Started()方法即可进入该状态。在该状态中，mediaplayer开始播放视频，可以通过seekTo()方法和start()方法改变视频播放的进度，当Looping为真且播放完毕后，它会重新开始播放（即循环播放）；否则播放完毕后，会触发事件并调用OnCompletionaListener.OnCompletion()方法，进行特定操作，并进入PlaybackCompleted状态。在此状态中，亦可调用pause()方法或者stop()方法让视频暂停或停止，此时mediaplayer分别处于Stopped和Paused状态。

  • 状态5：Stopped(停止)状态
    当 mediaplayer处于Prepared、Started、Paused、PlaybackCompleted状态时，调用stop()方法即可进入本状态。应特别注意的是，在本状态中，若想重新开始播放，不能直接调用start()方法，必须调用prepare()方法或prepareAsync()方法重新让mediaplayer处于Prepared状态方可调用start()方法播放视频。

  • 状态6：Paused(暂停)状态
    当mediaplayer处于Started状态是，调用pause()方法即可进入本状态。在本状态里，可直接调用start()方法使，mediaplayer回到Started状态，亦可调用stop()方法停止视频播放，让播放器处于停止态。

  • 状态7：PlaybackCompleted(播放完成)状态
    当mediaplayer播放完成且Looping为假时即可进入本状态。在本状态可调用start()方法使mediaplayer回到Started状态（注意此时是从头开始播放）；亦可调用stop()方法使mediaplayer处于停止态，结束播放。

  • 状态8：Error(错误)状态
    当mediaplayer出现错误时处于此状态。

SurfaceView , TextureView

SurfaceView , TextureView 都是 android 中用于承载视频帧显示的 view ，熟悉这2个 view 的大家都知道，这 2个 view 都是异步的，都是再非 UI 线程中计算的，拥有独立 surface 显存的，这是因为视频播放任务太重，UI 线程 hold 不住

  • SurfaceView
    大概原理就是在现有View的位置上创建一个新的 Window，内容的显示和渲染都在新的 Window 中。这使得 SurfaceView 的绘制和刷新可以在单独的线程中进行，从而大大提高效率。但是呢，由于 SurfaceView 的内容没有显示在View中而是显示在新建的 Window中， 使得 SurfaceView 的显示不受 View 的属性控制，不能进行平移，缩放等变换，也不能放在其它 RecyclerView 或 ScrollView中，一些 View 中的特性也无法使用。

  • TextureView
    TextureView 是在4.0(API level 14)引入的，与 SurfaceView 相比，它不会创建新的窗口来显示内容。它是将内容流直接投放到View中，并且可以和其它普通View一样进行移动，旋转，缩放，动画等变化。TextureView必须在硬件加速的窗口中使用。TextureView被创建后不能直接使用，必须要在它被它添加到ViewGroup后，待SurfaceTexture准备就绪才能起作用（看TextureView的源码，TextureView是在绘制的时候创建的内部SurfaceTexture。SurfaceTexture的准备就绪、大小变化、销毁、更新等状态变化时都会回调相对应的方法。当TextureView内部创建好SurfaceTexture后，在监听器的onSurfaceTextureAvailable方法中，用SurfaceTexture来关联MediaPlayer，作为播放视频的图像数据来源。SurfaceTexture作为数据通道，把从数据源（MediaPlayer）中获取到的图像帧数据转为GL外部纹理，交给TextureVeiw作为View heirachy中的一个硬件加速层来显示，从而实现视频播放功能。

视频播放方式一：VideoView + MediaController

这是官方原生的实现，VideoView 继承 SurfaceView ，内部封装了 SurfaceView 的所有操作，MediaController 这样来显示视频控制相关的 view 部分

我个人是非常喜欢官方的 API 设计的，代码功能，层次分离，起名都非常规范，让人一看就懂，用起来也是很爽，奈何就是支持的流媒体格式太少，我们只能去使用开源组件

VideoView + MediaController 的简单使用

@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    setContentView(R.layout.activity_main);
    button = (Button) findViewById(R.id.play);
    videoview = (VideoView) findViewById(R.id.video);

    mMediaController = new MediaController(this);
    videoview.setMediaController(mMediaController);
    mMediaController.setAnchorView(videoview)

    button.setOnClickListener(new View.OnClickListener(){
        @Override
        public void onClick(View v) {
            loadView(url.getText().toString());
        }
    });
}

public void loadView(String path) {
    Uri uri = Uri.parse(path);
    videoview.setVideoURI(uri);
    videoview.start;
    videoview.setOnPreparedListener(new MediaPlayer.OnPreparedListener() {
        @Override
        public void onPrepared(MediaPlayer mp) {
 //         mp.setLooping(true);
            mp.start();// 播放
            Toast.makeText(MainActivity.this, "开始播放！", Toast.LENGTH_LONG).show();
        }
    });
    videoview.setOnCompletionListener(new MediaPlayer.OnCompletionListener() {
        @Override
        public void onCompletion(MediaPlayer mp) {
            Toast.makeText(MainActivity.this, "播放完毕", Toast.LENGTH_SHORT).show();
        }
    });
}

我们简单看下 MediaController 是如何管理 视频控制 view 的

MediaController 继承 FrameLayout

public class MediaController extends FrameLayout

在 makeControllerView 中创建 控制布局 view ，并初始化 view

    protected View makeControllerView() {
        LayoutInflater inflate = (LayoutInflater) mContext.getSystemService(Context.LAYOUT_INFLATER_SERVICE);
        mRoot = inflate.inflate(com.android.internal.R.layout.media_controller, null);

        initControllerView(mRoot);

        return mRoot;
    }

media_controller 样式


media_controller

在 setAnchorView 关联视频播放器 VideoView 时把 控制 view 添加到自己身上

    public void setAnchorView(View view) {
        if (mAnchor != null) {
            mAnchor.removeOnLayoutChangeListener(mLayoutChangeListener);
        }
        mAnchor = view;
        if (mAnchor != null) {
            mAnchor.addOnLayoutChangeListener(mLayoutChangeListener);
        }

        FrameLayout.LayoutParams frameParams = new FrameLayout.LayoutParams(
                ViewGroup.LayoutParams.MATCH_PARENT,
                ViewGroup.LayoutParams.MATCH_PARENT
        );

        removeAllViews();
        View v = makeControllerView();
        addView(v, frameParams);
    }

视频播放方式二：开源解码器 + TextureView

我们注定是不会使用原生 VideoView 去远程视频的，没办法主流的流媒体格式 VideoView 都不支持，我们只能去使用 开源的视频解码器 + TextureView 去自己实现了

这就是我们后面需要自己的搞定的

参考：

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,684评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,143评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,214评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,788评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,796评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,665评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,027评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,679评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 41,346评论 1赞 299
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1赞 331
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,412评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,015评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2赞 350
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2赞 343