Mediacodec
Android从API 16开始提供java层的MediaCodec视频硬解码接口；从API 21，也就是Android 5.0开始提供native层的MediaCodec的接口。
详细描述可参见官方文档：https://developer.android.com/reference/android/media/MediaCodec.html
NDK中附带的例子使用MediaExtractor解析视频文件数据，其中隐藏了很多细节。下面以h264编码的mp4文件为例，简单介绍一下在native层使用MediaCodec对视频进行硬解码的使用方式。
MediaCodec的接口定义在头文件media/NdkMediaCodec.h中，各个接口参数的含义不再赘述，仅列出过程和需要注意的细节。
1.创建解码器
const char* mine = "video/avc";
AMediaCodec* mMediaCodec = AMediaCodec_createDecoderByType(mine);
2.配置解码器
AMediaFormat* videoFormat = AMediaFormat_new();
AMediaFormat_setString(videoFormat, "mime", "video/avc");
AMediaFormat_setInt32(videoFormat, AMEDIAFORMAT_KEY_WIDTH, width); // 视频宽度
AMediaFormat_setInt32(videoFormat, AMEDIAFORMAT_KEY_HEIGHT, height); // 视频高度
AMediaFormat_setBuffer(videoFormat, "csd-0", sps, spsSize); // sps
AMediaFormat_setBuffer(videoFormat, "csd-1", pps, ppsSize); // pps
注：我们的视频文件是用ffmpeg解析的。widht和height可以从ffmpeg中读取。sps和pps在ffmpeg对应的视频流AVStream->codec->extradata中。
3.向解码器设置数据
ssize_t bufidx = AMediaCodec_dequeueInputBuffer(mMediaCodec, 2000);
if (bufidx >= 0) {
// 获取buffer的索引
uint8_t* inputBuf = AMediaCodec_getInputBuffer(mMediaCodec, bufidx, &outsize);
if (inputBuf != nullptr && bufSize <= outsize) {
// 将待解码的数据copy到硬件中
memcpy(inputBuf, bufData, bufSize);
media_status_t status = AMediaCodec_queueInputBuffer(mMediaCodec, bufidx, 0, bufSize, pts, 0);
}
从ffmpeg里面读取的解码前的每帧数据的前四个字节表示该帧数据的大小，而MediaCode要求的数据必须以\x00\x00\x00\x01开头。将前四个字节直接用\x00\x00\x00\x01替换即可。从ffmpeg里面读取的第一帧数据可能对应多个h264帧，后几个h264帧的头部也要修改，否则前几帧图像显示不正确。
- 以轮询方式读取解码后的数据，解码后的数据格式在mColorFormat中，本例得到的是NV12格式
AMediaCodecBufferInfo info;
ssize_t outbufidx = AMediaCodec_dequeueOutputBuffer(mMediaCodec, &info, 2000);
if (outbufidx >= 0) {
size_t outsize;
uint8_t* outputBuf = AMediaCodec_getOutputBuffer(mMediaCodec, outbufidx, &outsize);
if (outputBuf != nullptr) {
pts = info.presentationTimeUs;
int32_t pts32 = (int32_t) pts;
uint8_t* dst = buffer;
memcpy(dst, outputBuf, MIN(mOriFrameSize, mFrameSize));
uint8_t * uvBuf = outputBuf + mFrameSize;
uint32_t uvSize = MIN(mOriFrameSize >> 1, mFrameSize >> 1);
uint8_t *uBuf = dst + mOriFrameSize;
uint8_t *vBuf = uBuf + (mOriFrameSize >> 2);
memcpy(uBuf, uvBuf, uvSize);
AMediaCodec_releaseOutputBuffer(mMediaCodec, outbufidx, info.size != 0);
return GOT_OUT_PUT;
}
}
else {
switch (outbufidx) {
case AMEDIACODEC_INFO_OUTPUT_FORMAT_CHANGED:
// 解码输出的格式发生变化
{
auto format = AMediaCodec_getOutputFormat(mMediaCodec);
AMediaFormat_getInt32(format, "width", &mWidth);
AMediaFormat_getInt32(format, "height", &mHeight);
int32_t localColorFMT;
AMediaFormat_getInt32(format, AMEDIAFORMAT_KEY_COLOR_FORMAT, &localColorFMT);
mColorFormat = getTTFormatFromMC(localColorFMT);
int32_t stride = 0;
AMediaFormat_getInt32(format, "stride", &stride);
if(stride == 0) {
stride = mWidth;
}
mLineSize[0] = stride;
mFrameSize = stride * mHeight;
mOriFrameSize = stride * mOriHeight;
return OUTPUT_FORMAT_CHANGED;
}
case AMEDIACODEC_INFO_OUTPUT_BUFFERS_CHANGED:
break;
default:
break;
}
}
