Android NDK MediaCodec在ijkplayer中的实践

从API 21（Android 5.0）开始Android提供C层的NDK MediaCodec的接口。

Java MediaCodec是对NDK MediaCodec的封装，ijkplayer硬解通路一直使用的是Java MediaCodec接Surface的方式。

本文的主要内容是：在ijkplayer框架内适配NDK MediaCodec，不再使用Surface输出，改用YUV输出达到软硬解通路一致的渲染流程。

下文提到的Java MediaCodec，如果不做特别说明，都指的Surface 输出。
下文提到的NDK MediaCodec，如果不做特别说明，都指的YUV 输出。

1. ijkplayer硬解码的过程

在增加NDK MediaCodec硬解流程之前，先简要说明Java MediaCodec的流程:

Android Java MediaCodec

图中主要有三个步骤：AVPacket->Decode->AVFrame;

  1. read线程读到packet，放入packet queue；
  2. 解码得到一帧AVFrame，放入picture queue；
  3. 从picture queue取出一帧，渲染AVFrame（overlay）。

数据来源AVPacket不变，目标AVFrame不变，现在我们将步骤2 Decode中的Java Mediacodec替换成 Ndk Mediacodec ，其他地方都不需要改动。
但是有一点需要注意：我们从NDK MediaCodec得到的YUV数据，并不是像Java Mediacodec得到的是一个index，所以NDK MediaCodec解码后渲染部分和软解流程一样，都是基于OpenGL。

1.1 打开视频流

在stream_component_open()函数打开解码器，以及创建解码线程：

//ff_ffplayer.c
static int stream_component_open(FFPlayer *ffp, int stream_index)
{
    ......
    codec = avcodec_find_decoder(avctx->codec_id);
    ......
    if ((ret = avcodec_open2(avctx, codec, &opts)) < 0) {
        goto fail;
    }
    ......  
    case AVMEDIA_TYPE_VIDEO:
        ......
        decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread);
        ffp->node_vdec = ffpipeline_open_video_decoder(ffp->pipeline, ffp);
        if (!ffp->node_vdec)
            goto fail;
        if ((ret = decoder_start(&is->viddec, video_thread, ffp, "ff_video_dec")) < 0)
            goto out;       
    ......
}

FFmpeg软解码器默认打开，接着由IJKFF_Pipeline（IOS／Android），创建ffpipeline_open_video_decoder硬解解码器结构体IJKFF_Pipenode。

1.2 创建解码器

ffpipeline_open_video_decoder()会根据设置创建硬解码器或软解码器IJKFF_Pipenode：

//ffpipeline_android.c
static IJKFF_Pipenode *func_open_video_decoder(IJKFF_Pipeline *pipeline, FFPlayer *ffp)
{
    IJKFF_Pipeline_Opaque *opaque = pipeline->opaque;
    IJKFF_Pipenode        *node = NULL;

    if (ffp->mediacodec_all_videos || ffp->mediacodec_avc || ffp->mediacodec_hevc || ffp->mediacodec_mpeg2)
        node = ffpipenode_create_video_decoder_from_android_mediacodec(ffp, pipeline, opaque->weak_vout);
    if (!node) {
        node = ffpipenode_create_video_decoder_from_ffplay(ffp);
    }

    return node;
}

硬解码器创建失败会切到软解码器。

1.3 启动解码线程

启动解码线程decoder_start()：

  //ff_ffplayer.c
int ffpipenode_run_sync(IJKFF_Pipenode *node)
{
    return node->func_run_sync(node);
}

IJKFF_Pipenode会根据func_run_sync函数指针，具体启动软解还是硬解线程。

1.4 解码线程工作

//ffpipenode_android_mediacodec_vdec.c
static int func_run_sync(IJKFF_Pipenode *node)
{
...
    opaque->enqueue_thread = SDL_CreateThreadEx(&opaque->_enqueue_thread, enqueue_thread_func, node, "amediacodec_input_thread");
...
while (!q->abort_request) {
  ...
          ret = drain_output_buffer(env, node, timeUs, &dequeue_count, frame, &got_frame);
...
            ret = ffp_queue_picture(ffp, frame, pts, duration, av_frame_get_pkt_pos(frame), is->viddec.pkt_serial);
...
   }
}
  1. 可以看到解码线程又创建了子线程，enqueue_thread_func()主要是用来将压缩数据（H.264/H.265）放入解码器，这样往解码器放数据在enqueue_thread_func()里面，从解码器取数据在func_run_sync()里面；
  2. drain_output_buffer()从解码器取出一个AVFrame，但是这个AVFrame->data为NULL并没有数据，其中AVFrame->opaque指针指向一个SDL_AMediaCodecBufferProxy结构体：
struct SDL_AMediaCodecBufferProxy
{
    int buffer_id;
    int buffer_index;
    int acodec_serial;
    SDL_AMediaCodecBufferInfo buffer_info;
};

这些成员由硬解器SDL_AMediaCodecFake_dequeueOutputBuffer得来，它们在视频渲染的时候会用到；

  1. 将AVFrame放入待渲染队列。

2. 增加NDK MediaCodec解码

根据上面的解码流程，增加NDK MediaCodec就只需2个关键步骤:

  1. 创建IJKFF_Pipenode；
  2. 创建相应的解码线程。

2.1 新建pipenode

为NDK MediaCodec创建一个IJKFF_Pipenode。在func_open_video_decoder()打开解码器时，软件解码器和Java Mediacodec都需要创建一个IJKFF_Pipenode，其中IJKFF_Pipenode->opaque为自定义的解码结构体指针，所以定义一个IJKFF_Pipenode_Ndk_MediaCodec_Opaque结构体。

 //ffpipenode_android_ndk_mediacodec_vdec.c
typedef struct IJKFF_Pipenode_Ndk_MediaCodec_Opaque {
    FFPlayer                 *ffp;
    IJKFF_Pipeline           *pipeline;
    Decoder                  *decoder;
    SDL_Vout                 *weak_vout;
    SDL_Thread               _enqueue_thread;
    SDL_Thread               *enqueue_thread;

    ijkmp_mediacodecinfo_context mcc;

    char                      acodec_name[128];
    int                       frame_width;
    int                       frame_height;
    int                       frame_rotate_degrees;

    AVCodecContext           *avctx; // not own
    AVBitStreamFilterContext *bsfc;  // own
    size_t                    nal_size;
    AMediaFormat *ndk_format;
    AMediaCodec  *ndk_codec;
} IJKFF_Pipenode_Ndk_MediaCodec_Opaque;

里面有两个比较重要的成员AMediaFormat、AMediaCodec，他们就是native层的编解码器和媒体格式。定义函数ffpipenode_create_video_decoder_from_android_ndk_mediacodec()创建IJKFF_Pipenode：

 //ffpipenode_android_ndk_mediacodec_vdec.c
IJKFF_Pipenode *ffpipenode_create_video_decoder_from_android_ndk_mediacodec(FFPlayer *ffp, IJKFF_Pipeline *pipeline, SDL_Vout *vout)
{
    if (SDL_Android_GetApiLevel() < IJK_API_21_LOLLIPOP)
        return NULL;
    IJKFF_Pipenode *node = ffpipenode_alloc(sizeof(IJKFF_Pipenode_Ndk_MediaCodec_Opaque));
    if (!node)
        return node;
    ... 
    IJKFF_Pipenode_Ndk_MediaCodec_Opaque *opaque = node->opaque;
    node->func_destroy  = func_destroy;
    node->func_run_sync = func_run_sync;
    opaque->ndk_format = AMediaFormat_new();
    ...
    AMediaFormat_setString(opaque->ndk_format , AMEDIAFORMAT_KEY_MIME, opaque->mcc.mime_type);
    AMediaFormat_setBuffer(opaque->ndk_format , "csd-0", convert_buffer, sps_pps_size);
    AMediaFormat_setInt32(opaque->ndk_format , AMEDIAFORMAT_KEY_WIDTH, opaque->avctx->width);
    AMediaFormat_setInt32(opaque->ndk_format , AMEDIAFORMAT_KEY_HEIGHT, opaque->avctx->height);
    AMediaFormat_setInt32(opaque->ndk_format , AMEDIAFORMAT_KEY_COLOR_FORMAT, 19);
    opaque->ndk_codec = AMediaCodec_createDecoderByType(opaque->mcc.mime_type); 
   
    if (AMediaCodec_configure(opaque->ndk_codec, opaque->ndk_format, NULL, NULL, 0) != AMEDIA_OK)
        goto fail;

    return node;
fail:
    ffpipenode_free_p(&node);
    return NULL;
}

NDK MediaCodec的接口和Java MediaCodec的接口是一样的 。然后打开解码器就可以改为：

//ffpipeline_android.c
static IJKFF_Pipenode *func_open_video_decoder(IJKFF_Pipeline *pipeline, FFPlayer *ffp)
{
    IJKFF_Pipeline_Opaque *opaque = pipeline->opaque;
    IJKFF_Pipenode        *node = NULL;

    if (ffp->mediacodec_all_videos || ffp->mediacodec_avc || ffp->mediacodec_hevc || ffp->mediacodec_mpeg2)
        node = ffpipenode_create_video_decoder_from_android_ndk_mediacodec(ffp, pipeline, opaque->weak_vout);
    if (!node) {
        node = ffpipenode_create_video_decoder_from_ffplay(ffp);
    }

    return node;
}

2.2 创建解码线程func_run_sync

func_run_sync()也会再创建一个子线程enqueue_thread_func(),用于往解码器放数据：

  //ffpipenode_android_ndk_mediacodec_vdec.c
static int func_run_sync(IJKFF_Pipenode *node)
{
    ...
    AMediaCodec_start(c);
    opaque->enqueue_thread = SDL_CreateThreadEx(&opaque->_enqueue_thread, enqueue_thread_func, node, "amediacodec_input_thread");  
    AVFrame* frame = av_frame_alloc();
    AMediaCodecBufferInfo info;
    ...
    while (!q->abort_request) {
        outbufidx = AMediaCodec_dequeueOutputBuffer(c, &info, AMC_OUTPUT_TIMEOUT_US);
        if (outbufidx >= 0)
        {
            size_t size;
            uint8_t* buffer = AMediaCodec_getOutputBuffer(c, outbufidx, &size);
            if (size)
            {
                int num;
                AMediaFormat *format = AMediaCodec_getOutputFormat(c); 
                AMediaFormat_getInt32(format, AMEDIAFORMAT_KEY_COLOR_FORMAT, &num) ;
                if (num == 19)//YUV420P
                {
                    frame->width = opaque->avctx->width;
                    frame->height = opaque->avctx->height;
                    frame->format = AV_PIX_FMT_YUV420P;
                    frame->sample_aspect_ratio = opaque->avctx->sample_aspect_ratio;
                    frame->pts = info.presentationTimeUs;
                    double frame_pts = frame->pts*av_q2d(AV_TIME_BASE_Q);
                    double duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0);
                    av_frame_get_buffer(frame, 1);
                    memcpy(frame->data[0], buffer, frame->width*frame->height);
                    memcpy(frame->data[1], buffer+frame->width*frame->height, frame->width*frame->height/4);
                    memcpy(frame->data[2], buffer+frame->width*frame->height*5/4, frame->width*frame->height/4);
                    ffp_queue_picture(ffp, frame, frame_pts, duration, av_frame_get_pkt_pos(frame), is->viddec.pkt_serial);
                    av_frame_unref(frame);
                }
                else if (num == 21)// YUV420SP
                {
                }
            }
            AMediaCodec_releaseOutputBuffer(c,  outbufidx, false);
        }
        else {
            switch (outbufidx) {
                case AMEDIACODEC_INFO_OUTPUT_FORMAT_CHANGED: {
                    AMediaFormat *format = AMediaCodec_getOutputFormat(c);   

                    int pix_format = -1;
                    int width =0, height =0;
                    AMediaFormat_getInt32(format, AMEDIAFORMAT_KEY_WIDTH, &width);
                    AMediaFormat_getInt32(format, AMEDIAFORMAT_KEY_HEIGHT, &height);
                    AMediaFormat_getInt32(format, AMEDIAFORMAT_KEY_COLOR_FORMAT, &pix_format);
                    break;
                }
                case AMEDIACODEC_INFO_OUTPUT_BUFFERS_CHANGED:
                    break;
                case AMEDIACODEC_INFO_TRY_AGAIN_LATER:
                    break;
                default:
                    break;
            }
        }
    }

fail:
    av_frame_free(&frame);

    SDL_WaitThread(opaque->enqueue_thread, NULL);
    ALOGI("MediaCodec: %s: exit: %d", __func__, ret);
    return ret;
}
  1. 从解码器拿到解码后的数据buffer;
  2. 填充AVFrame结构体，申请相应大小的内存，由于我们设置解码器的输出格式是YUV420P，所以frame->format = AV_PIX_FMT_YUV420P，然后将buffer拷贝到frame->data;
  3. 放入待渲染队列ffp_queue_picture，至此渲染线程就能像软解一样取到AVFrame。
 //ffpipenode_android_ndk_mediacodec_vdec.c
static int enqueue_thread_func(void *arg)
{
    ...
    while (!q->abort_request)
    {
        do
        {
            ...
            if (ffp_packet_queue_get_or_buffering(ffp, d->queue, &pkt, &d->pkt_serial, &d->finished) < 0) {
                ret = -1;
                goto fail;
            }
        }while(ffp_is_flush_packet(&pkt) || d->queue->serial != d->pkt_serial);

        if (opaque->avctx->codec_id == AV_CODEC_ID_H264 || opaque->avctx->codec_id == AV_CODEC_ID_HEVC) {
            convert_h264_to_annexb(pkt.data, pkt.size, opaque->nal_size, &convert_state);
            ...
        }

        ssize_t id = AMediaCodec_dequeueInputBuffer(c, AMC_INPUT_TIMEOUT_US);
        if (id >= 0)
        {
            uint8_t *buf = AMediaCodec_getInputBuffer(c, (size_t) id, &size);
            if (buf != NULL && size >= pkt.size) {
                memcpy(buf, pkt.data, (size_t)pkt.size);
                media_status = AMediaCodec_queueInputBuffer(c, (size_t) id, 0, (size_t) pkt.size,
                                                            (uint64_t) time_stamp,
                                                            keyframe_flag);
                if (media_status != AMEDIA_OK) {
                    goto fail;
                }
            }
        }
        av_packet_unref(&pkt);
    }
fail:
    return 0;
}

往解码器放数据在enqueue_thread_func()线程里面，解码的整体流程和Java MediaCodec一样

2.3 其他需要修改的地方

修改Android.mk

LOCAL_LDLIBS += -llog -landroid -lmediandk
LOCAL_SRC_FILES += android/pipeline/ffpipenode_android_ndk_mediacodec_vdec.c

如果提示media/NdkMediaCodec.h找不到，可能是因为API级别<21，修改Application.mk：

APP_PLATFORM := android-21

3. 性能分析

测试情况使用的设备为Oppo R11 Plus（Android 7.1.1），测试序列H. 264 (1920x1080 25fps)视频，Java MediaCodec和NDK MediaCodec解码时CPU及GPU的表现：

Java MediaCodec CPU 占用大约在5%左右

Java MediaCodec解码CPU表现

NDK MediaCodec CPU占用大约在12%左右

NDK MediaCodec解码CPU表现

Java MediaCodec GPU占用表现

Java MediaCodec解码GPU表现

NDK MediaCodec GPU占用表现

NDK MediaCodec解码GPU表现

3.1 测试数据分析

NDK MediaCodec的CPU占比大约高出7%，但是GPU表现较好。

CPU为什么会比Java MediaCodec解码时高呢？
我们这里一直评估的Java MediaCodec，都指的Surface输出。这意味着接口内部完成了解码和渲染工作，高度封装的解码和渲染，内部做了一些数据传递优化的工作。同时ijkplayer进程的CPU占用并不能体现MediaCodec本身的耗用。

3.2 后续优化

有一个原因是不可忽略的：在从解码器拿到buffer时，会先申请内存，然后拷贝得到AVFrame。但这一步也可以优化，直接将buffer指向AVFrame->data，然后在OpenGL渲染完成之后，调用AMediaCodec_releaseOutputBuffer将buffer还给解码器，这样就需要修改渲染的代码，不能做到软硬解逻辑一致。

4. 总结

当前的ijkplayer播放框架中，为了做到Android和iOS跨平台的设计，在Native层直接调用Java MediaCodec的接口。如果将API级别提高，在Native层调用NDK MediaCodec接口并输出YUV数据，可以拿到解码后的YUV数据，也能保证软硬解渲染通路的一致性。
当前测试数据不充分，两种方式哪种性能、系统占用更优，还需要做更多的评估工作。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 195,360评论 5赞 461
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 82,195评论 2赞 373
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 142,543评论 0赞 323
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 52,420评论 1赞 266
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 61,242评论 4赞 357
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 46,224评论 1赞 273
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 36,626评论 3赞 384
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 35,301评论 0赞 253
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 39,589评论 1赞 292
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,660评论 2赞 312
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,423评论 1赞 326
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 32,286评论 3赞 313
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 37,662评论 3赞 299
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,951评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,237评论 1赞 250
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 41,613评论 2赞 342
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 40,804评论 2赞 335

推荐阅读更多精彩内容

  • Android - 收藏集
    Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,101评论 25赞 707
  • Android MediaCodec
    MediaCodec的官方文档 一、Android MediaCodec简单介绍 Android中可以使用Medi...
    黄海佳阅读 6,120评论 1赞 16
  • 元认知能力-冥想
    元认知能力：对自己思考过程的认知与理解。 怎么通过刻意练习提高元认知能力呢： 1、坐享（冥想）2、兴趣 3、反思 ...
    杨荣鹏阅读 695评论 2赞 1
  • 2017-06-14
    不该把改变自己的命运放在婚姻上。会遗憾终身。宁可就这样一直迷迷糊糊的过。
    谁管你深情似海阅读 200评论 0赞 0