Android Camera2入门

Android Camera2入门系列1 - Camera2在textureView预览
Android Camera2入门系列2 - ImageReader获得预览数据
Android Camera2入门系列3 - Image中获得YUV数据及YUV格式理解
Android Camera2入门系列4 - libyuv的编译和使用

上篇文章Android Camera系列1 - Camera2在textureView预览理了理如何实现最简单的TextureView预览Camera2。
饭要一口一口的吃，胖子要一斤一斤的长。
开门见山，我们需要用到ImageReader这个类去得到一个Image。

Image:

Image类允许应用通过一个或多个ByteBuffers直接访问Image的像素数据， ByteBuffer包含在Image.Plane类中，同时包含了这些像素数据的配置信息。因为是作为提供raw数据使用的，Image不像Bitmap类可以直接填充到UI上使用。

因为Image的生产消费是跟硬件直接挂钩的，所以为了效率起见，Image如果不被使用了应该尽快的被销毁掉。比如说，当我们使用ImageReader从不用的媒体来源获取到Image的时候，如果Image的数量到达了maxImages，不关闭之前老的Image，新的Image就不会继续生产。

• close : 关掉当前帧for reuse。调用此方法后再调用其他Image的方法都会报IllegalStateException
• getFormat : 获取当前Image的格式，format决定了Image需要提供的ByteBuffers数量和每个ByteBuffer的像素数量。这里还涉及到Image.Plane.
  Image.Plane : plane这里翻译为一个平面。通过作为一个数组返回，数组的数量由Image的格式决定，比如ImageFormat.JPEG返回的数组size就是1，ImageFormat.YUV_420_888返回的数字size就是3。一旦Image被关闭了，再去尝试获取plane的ByteBuffer将会失败。

附一部分ImageFormat的描述。

ImageReader:

image的data被存储在Image类里面，构造参数maxImages控制了最多缓存几帧，新的images通过ImageReader的surface发送给ImageReader，类似一个队列，需要通过acquireLatestImage()或者acquireNextImage()方法取出Image。如果ImageReader获取并销毁图像的速度小于数据源产生数据的速度，那么就会丢帧。

也就是说ImageReader只会给我们maxImages个Image。如果你acquire掉之前的Image，那么永远不会有新的Image回调过来，因为队列已经满了，只有从队列中移除掉头部的元素，才能给新的Image留出空间来。
用法Like Below：

...
          //构造一个ImageReader的实例，设置宽高，输出格式，缓存max数量
           mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(),
                            ImageFormat.JPEG, 2);
           mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mCameraHandler);
...
private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {
            Image image = reader.acquireNextImage();
            ...
            image.close();
        }
    };

部分重要API：

• acquireLatestImage() - 从ImageReader队列中获取最新的一帧Image，并且将老的Image丢弃，如果没有新的可用的Image则返回null。
  此操作将会从ImageReader中获取所有可获取到的Images，并且关闭除了最新的Image之外的Image。此功能大多数情况下比acquireNextImage更推荐使用，更加适用于视频实时处理。
  需要注意的是maxImages应该至少为2，因为丢弃除了最新的之外的所有帧需要至少两帧。换句话说，(maxImages - currentAcquiredImages < 2)的情况下，丢帧将会不正常。
• acquireNextImage() - 从ImageReader的队列中获取下一帧Image，如果没有新的则返回null。
  Android推荐我们使用acquireLatestImage来代替使用此方法，因为它会自动帮我们close掉旧的Image，并且能让效率比较差的情况下能获取到最新的Image。acquireNextImage更推荐在批处理或者后台程序中使用，不恰当的使用本方法将会导致得到的images出现不断增长的延迟。
• close() - 释放所有跟此ImageReader关联的资源。调用此方法后，ImageReader不会再被使用，再调用它的方法或者调用被acquireLatestImage或acquireNextImage返回的Image会抛出IllegalStateException，尝试读取之前Plane#getBuffer返回的ByteBuffers将会导致不可预测的行为。
• newInstance(int width, int height, int format, int maxImages) - 创建新的reader以获取期望的size和format的Images。maxImages决定了ImageReader能同步返回的最大的Image的数量，申请越多的buffers会耗费越多的内存空间，使用合适的数量很重要。
  format ：reader生产的Image的格式，必须是ImageFormat或PixelFormat中的常量，并不是所有的formats都会被支持，比如ImageFormat.NV21就是不支持的，Android一般都会支持ImageFormat_420_888。那很多人可能会想，不支持你写这儿干嘛？当然这里只是说Camera不支持格式直出，并不是其他地方不认识这种格式，比如YuvImage就支持ImageFormat.NV21。
  maxImages：前面讲过很多了，缓存的最大帧数，必须大于0。

其他的方法像getHeight,getWidth,getMaxImages,getImageFormat，字面意思，不再赘述。

下面我们先实现一个ImageReader得到ImageFormat.JPEG格式的数据并显示到view上，跟上一篇相比，改动在以下几个地方：

private void openCamera(int width, int height) {
...        //创建ImageFormat.JPEG格式的ImageReader并设置OnImageAvailableListener
          mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(),
                            ImageFormat.JPEG, 2);
          mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mCameraHandler);
...
}

private CameraDevice.StateCallback mStateCallback = new CameraDevice.StateCallback() {
        @Override
        public void onOpened(CameraDevice camera) {
            ...
                mPreviewBuilder = mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
                mPreviewBuilder.addTarget(previewSurface);
//把ImageReader的surface添加给CaptureRequest.Builder，使预览surface和ImageReader同时收到数据回调。
                mPreviewBuilder.addTarget(mImageReader.getSurface());
                mCameraDevice.createCaptureSession(Arrays.asList(previewSurface, mImageReader.getSurface()), mStateCallBack, mCameraHandler);
            ...
        }
}

private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {
//获取最新的一帧的Image
            Image image = reader.acquireLatestImage();
//因为是ImageFormat.JPEG格式，所以 image.getPlanes()返回的数组只有一个，也就是第0个。
            ByteBuffer byteBuffer = image.getPlanes()[0].getBuffer();
            byte[] bytes = new byte[byteBuffer.remaining()];
            byteBuffer.get(bytes);
//ImageFormat.JPEG格式直接转化为Bitmap格式。
            Bitmap temp = BitmapFactory.decodeByteArray(bytes, 0, bytes.length);
//因为摄像机数据默认是横的，所以需要旋转90度。
            Bitmap newBitmap = BitmapUtil.rotateBitmap(temp, 90);
//抛出去展示或存储。
            mOnGetBitmapInterface.getABitmap(newBitmap);
//一定需要close，否则不会收到新的Image回调。
            image.close();
        }
    };

本文地址在Camera2ProviderWithData.java，自行取阅。

关键代码都在上面了，如果只是拍照或截取预览，这样的调用就足够了，当然如果是做实时美颜特效，这样是远远不够的，因为返回JPEG格式需要进行encode，时间必然会长，这时候就不能用JPEG了，我们需要用到前面提到的ImageFormat.YUV_420_888。

YUV跟JPEG相比相机逻辑改动就是把ImageFormat.JPEG改为ImageFormat.YUV_420_888

mImageReader = ImageReader.newInstance(previewSize.getWidth(), previewSize.getHeight(),
                            ImageFormat.YUV_420_888, 2);

如果我们仍然想用上面的方式预览，我们要做的就是如何把I420的数据转为Bitmap。

private ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {
            Image image = reader.acquireLatestImage();
            if (image == null) {
                return;
            }
            int width = image.getWidth(), height = image.getHeight();
            byte[] i420bytes = CameraUtil.getDataFromImage(image, COLOR_FormatI420);
//                BitmapUtil.dumpFile("mnt/sdcard/1.yuv", i420bytes);
            byte[] i420RorateBytes = BitmapUtil.rotateYUV420Degree90(i420bytes, width, height);
            byte[] nv21bytes = BitmapUtil.I420Tonv21(i420RorateBytes, height, width);
            Bitmap bitmap = BitmapUtil.getBitmapImageFromYUV(nv21bytes, height, width);
            if (mOnGetBitmapInterface != null) {
                mOnGetBitmapInterface.getABitmap(bitmap);
            }
            image.close();
        }
    };

这里推荐一个工具GLYUVPlay，(好像最新的mac系统用不了，现在我换成了YuvEye)，可以查看得到的YUV是否正常，宽高和format一定要设置对，看显示是否正常就可以查看YUV是否获取正确了。

这里转化的时候还要涉及到一个类就是YuvImage

• YuvImage : YuvImage包含YUV数据并且提供把YUV数据转化成Jpeg的方法。YUV数据应该是一个单纯的byte数组，而不是image返回的好几个planes。现在只支持ImageFormat.NV21和ImageFormat.YUY2，用户需要给定上下左右的宽高。

所以我们只需要把YUV_420_888转化为ImageFormat.NV21就可以了，使用YuvImage就可以转化成Bitmap了。每个YUV格式的区别这篇说不开，另开一篇。

public static byte[] I420Tonv21(byte[] data, int width, int height) {
        byte[] ret = new byte[data.length];
        int total = width * height;

        ByteBuffer bufferY = ByteBuffer.wrap(ret, 0, total);
        ByteBuffer bufferV = ByteBuffer.wrap(ret, total, total / 4);
        ByteBuffer bufferU = ByteBuffer.wrap(ret, total + total / 4, total / 4);

        bufferY.put(data, 0, total);
        for (int i = 0; i < total / 4; i += 1) {
            bufferV.put(data[total + i]);
            bufferU.put(data[i + total + total / 4]);
        }

        return ret;
    }

这里提供一个java的转换方法，只是作为理清逻辑使用，工程中还是使用C++或者三方库提高效率。
YUV代码详见：Camera2ProviderPreviewWithYUV 欢迎star/follow

本篇其实没有说清楚如何从Image中得到YUV数据下一篇 Android Camera系列3 - Image中获得YUV数据及YUV格式理解分享。