2022-07-21 Android开发相机预览数据处理优化setPreviewCallbackWithBuffer()

背景

Android开发中Camera常用的是预览或者拍照等操作，但是笔者这里业务不需要预览相机的画面，而是需要拿到相机的预览数据，转成图片，进行图像处理，所以需要得到相机的预览数据。

平常情况下，我们只需要以下代码就可以得到相机预览数据：

private void init() {
    SurfaceView mSurfaceView = findViewById(R.id.sv);
    mHolder = mSv.getHolder();
    mHolder.addCallback(mSurfaceHolderCallback);
}

private SurfaceHolder.Callback mSurfaceHolderCallback = new SurfaceHolder.Callback() {
    @Override
    public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {}

    @Override
    public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int channel, int width, int height) {
        openCamera();
    }

    @Override
    public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {}
};

private void openCamera() {
    mCamera = Camera.open();
    mCameraParameters = mCamera.getParameters();

    //设置自动对焦,否则画面不清晰
    mCameraParameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
    mCamera.setParameters(mCameraParameters);

    //默认预览图像是镜像的,这里根据设备的方向做一个旋转
    final int orientation = getResources().getConfiguration().orientation;
    int previewCaptureRotation = 90;
    if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
        previewCaptureRotation = 180;
    } else if (orientation == Configuration.ORIENTATION_PORTRAIT) {
        previewCaptureRotation = 90;
    }
    mCamera.setDisplayOrientation(previewCaptureRotation);

    try {
        mCamera.setPreviewDisplay(mHolder);
        mCamera.setPreviewCallback(mCameraPreviewCallback);
        mCamera.startPreview();
    } catch (Exception e) {
        e.printStackTrace();
        System.out.println("设置相机预览异常");
    }
}

Camera.PreviewCallback mCameraPreviewCallback = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        // TODO bytes 相机预览数据
    }
};

通过上述代码，对相机的一些基础设置，和设置一个显示位置，然后开始预览相机，在控件中就可以预览相机画面，通过相机setPreviewCallback()函数设置一个预览回调接口，回调函数onPreviewFrame()中的bytes[]就是相机内帧图像数据。该回调会将每一帧数据一个不漏的传过来。

private static long thisT = 0;
private static long lastT = 0;

Camera.PreviewCallback mCameraPreviewCallback = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        lastT = thisT;
        thisT = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName()+",相机数据间隔:" + (thisT - lastT));
    }
};

//logcat
2022-07-21 09:37:29.456 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:37:29.485 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:29
2022-07-21 09:37:29.518 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.552 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.589 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:37
2022-07-21 09:37:29.622 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.656 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.683 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:27
2022-07-21 09:37:29.716 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.750 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:37:29.783 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:37:29.815 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:37:29.856 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:41
2022-07-21 09:37:29.887 15440-15440/org.venus.ar.ocr I/System.out: main,相机数据间隔:31

通过日志查看每一帧的间隔约35ms，并且这个回调是在主线程中，图像处理一般都是耗时比较多的，如果你要在这里做什么，请注意你的线程操作，避免程序卡顿和数据同步问题。大多数情况下我们对图像的操作会超过这个时间，为了保证数据同步，我们会采取丢帧的方式，如果在处理这一帧的过程中，下一帧数据来了，我们直接丢弃不处理。另外每一帧的数据都是一块新的内存区域，这会造成系统的频繁GC。本文就将记录这种情况下的处理优化。

上述代码中使用的是setPreviewCallback()函数设置一个相机预览回调：

mCamera.setPreviewCallback(mCameraPreviewCallback);

同时Android API还提供了setPreviewCallbackWithBuffer()函数给我们使用

mCamera.addCallbackBuffer(new byte[bufferSize]);
mCamera.setPreviewCallbackWithBuffer(mCameraPreviewCallbackWithBuffer);

Camera.PreviewCallback mCameraPreviewCallbackWithBuffer = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        lastT = thisT;
        thisT = System.currentTimeMillis();
        System.out.println(Thread.currentThread().getName() + ",相机数据间隔:" + (thisT - lastT));
        mCamera.addCallbackBuffer(bytes);
    }
};

//logcat
2022-07-21 09:51:20.038 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.073 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:35
2022-07-21 09:51:20.106 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.139 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.173 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:51:20.212 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:38
2022-07-21 09:51:20.241 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:30
2022-07-21 09:51:20.271 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:30
2022-07-21 09:51:20.306 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:35
2022-07-21 09:51:20.338 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:32
2022-07-21 09:51:20.371 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.405 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34
2022-07-21 09:51:20.439 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:33
2022-07-21 09:51:20.472 16529-16529/org.venus.ar.ocr I/System.out: main,相机数据间隔:34

通过日志可以看到我们仍然能够拿到相机的预览数据。这样做优化的内容是setPreviewCallbackWithBuffer()的回调函数onPreviewFrame()中的每一帧数据bytes都是复用同一块缓冲区域，byte[]对象没有变，但是数据的内容改变了，并且该回调不会返回每一帧数据，而是在调用addCallbackBuffer()函数之后才会回调，所以setPreviewCallbackWithBuffer()需要结合addCallbackBuffer()来使用。

这样看来使用setPreviewCallbackWithBuffer()回调来拿相机的预览数据就有2处优化部分了，一个是回调数据对象复用减缓系统的垃圾回收时间，另一个是当我们需要的时候再来拿预览数据，也就是说当我们拿到一帧数据还正在处理时，我不需要回调给我下一帧的数据，当我们把这一帧数据处理完了，再执行addCallbackBuffer()函数通知回调可以给我下一帧数据了。

使用setPreviewCallbackWithBuffer()的代码基本与使用setPreviewCallback()一样，只是最后设置的回调接口不一样。但是注意在执行setPreviewCallbackWithBuffer()函数设置回调之前一定要先执行一次addCallbackBuffer()函数，因为这是配合使用的，不执行addCallbackBuffer()函数setPreviewCallbackWithBuffer()的回调是不会执行的，同理在setPreviewCallbackWithBuffer()的回调中，处理完图像也必须再调用一次addCallbackBuffer()函数，否则后面就不会回调了。

private void init() {
    SurfaceView mSurfaceView = findViewById(R.id.sv);
    mHolder = mSv.getHolder();
    mHolder.addCallback(mSurfaceHolderCallback);
}

private SurfaceHolder.Callback mSurfaceHolderCallback = new SurfaceHolder.Callback() {
    @Override
    public void surfaceCreated(@NonNull SurfaceHolder surfaceHolder) {}

    @Override
    public void surfaceChanged(@NonNull SurfaceHolder surfaceHolder, int channel, int width, int height) {
        openCamera();
    }

    @Override
    public void surfaceDestroyed(@NonNull SurfaceHolder surfaceHolder) {}
};

private void openCamera() {
    mCamera = Camera.open();
    mCameraParameters = mCamera.getParameters();

    //设置自动对焦,否则画面不清晰
    mCameraParameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE);
    mCamera.setParameters(mCameraParameters);

    //默认预览图像是镜像的,这里根据设备的方向做一个旋转
    final int orientation = getResources().getConfiguration().orientation;
    int previewCaptureRotation = 90;
    if (orientation == Configuration.ORIENTATION_LANDSCAPE) {
        previewCaptureRotation = 180;
    } else if (orientation == Configuration.ORIENTATION_PORTRAIT) {
        previewCaptureRotation = 90;
    }
    mCamera.setDisplayOrientation(previewCaptureRotation);

    try {
        mCamera.setPreviewDisplay(mHolder);
        //mCamera.setPreviewCallback(mCameraPreviewCallback);
        int bufferSize = mCameraParameters.getPreviewSize().width * mCameraParameters.getPreviewSize().height * ImageFormat.getBitsPerPixel(mCameraParameters.getPreviewFormat()) / 8;
        mCamera.addCallbackBuffer(new byte[bufferSize]);
        mCamera.setPreviewCallbackWithBuffer(mCameraPreviewCallbackWithBuffer);
        mCamera.startPreview();
    } catch (Exception e) {
        e.printStackTrace();
        System.out.println("设置相机预览异常");
    }
}

Camera.PreviewCallback mCameraPreviewCallbackWithBuffer = new Camera.PreviewCallback() {
    @Override
    public void onPreviewFrame(byte[] bytes, Camera camera) {
        mCamera.addCallbackBuffer(bytes);
    }
};

第一次执行addCallbackBuffer()函数时，里面的byte[]是创建出来的，但是这个长度怎么计算的呢？这个不是固定的，与相机预览数据的格式有关。相机预览格式我们可以设置，也可以查看。

int previewFormat = mCameraParameters.getPreviewFormat();
System.out.println("相机预览的数据格式:"+previewFormat);

//logcat
17

通过日志查看拿到的相机预览数据格式是17，也就是ImageFormat.NV21，这是Android相机默认的数据格式，当然你也可以通过API去设置预览格式，但是我不推荐你这么做，因为其他的格式预览没有这个快。

mCameraParameters.setPreviewFormat(ImageFormat.JPEG);

当数据格式是ImageFormat.NV21时，这个缓冲区域大小的计算公式是

int bufferSize = mCameraParameters.getPreviewSize().width * mCameraParameters.getPreviewSize().height * ImageFormat.getBitsPerPixel(mCameraParameters.getPreviewFormat()) / 8;

这是在网上找的，至于其他格式下怎么计算，如果用的上的时候再去找。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,884评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,755评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 158,369评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,799评论 1赞 285
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,910评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 50,096评论 1赞 291
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,159评论 3赞 411
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,917评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,360评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,673评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,814评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,509评论 4赞 334
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 40,156评论 3赞 317
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,123评论 1赞 267
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,641评论 2赞 362
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,728评论 2赞 351