昨天刚解决完OpenCV Manager的问题，今天就马不停蹄的开始写人脸追踪。结合《深入OpenCV Android应用开发》这本书加上官方给出的demo，成功写出了第一版的人脸追踪效果(这里就不贴具体的代码的，大家可以根据官方的demo——face-detection去试着实现)，虽然能实现追踪的效果，但是此时的页面只有在设置横屏时才是正常的，并且使用时需要把手机横过来才有效果，这和大家平时的使用习惯显然是不符的。于是我开始试着让他能竖向显示以及识别......
1. 首先试着把输出的图像竖起来
首先我们把页面的android:screenOrientation="landscape"从水平改成竖向，此时的效果是显示的内容向左旋转90°，然后显示的区域是一个正方形。接着我们开始试着让图像竖起来——
如果大家按照demo试着实现的话想必会让页面实现CameraBridgeViewBase.CvCameraViewListener2这个接口，此接口中需要实现
public Mat onCameraFrame(CvCameraViewFrame inputFrame);
这个方法。根据其描述以及自己的猜测，我们可以知道这个方法是在摄像头传帧时被调用到。我们可以在这个方法中去处理所获得到的帧，寻找人脸的操作自然也就在这里进行了。所以我们这寻找人脸的操作之前，先要将图像旋转回来。
Mat gray = inputFrame.gray();
rgb = inputFrame.rgba();
// 旋转输入帧
if (isFrontCamera) {
Core.rotate(rgb, rgb, Core.ROTATE_90_COUNTERCLOCKWISE);
Core.rotate(gray, gray, Core.ROTATE_90_COUNTERCLOCKWISE);
Core.flip(rgb, rgb, 1);
Core.flip(gray, gray, 1);
} else {
Core.rotate(rgb, rgb, Core.ROTATE_90_CLOCKWISE);
Core.rotate(gray, gray, Core.ROTATE_90_CLOCKWISE);
}
这里的rgb既是我们得到的彩色图像，gray既是灰度化之后的图像。这里我们根据是否是前置摄像头，对帧所对应的矩阵进行旋转，其中后置摄像头需要将矩阵顺时针旋转90°得到竖向的图像，而前置摄像头则需要逆时针旋转90°，同时进行一次镜像翻转才能得到想要的图像。
PS：由于矩阵的乘法不满足交换律，所以此处前置摄像头的旋转与翻转顺序不可更改！！对矩阵不太了解的小伙伴可以参考此处。
至此我们已经将图像竖起来了，同时也能对人脸进行追踪了，但是此时显示的图像依旧是一个以手机宽为边长的正方形。
2. 将预览视图扩大到正常比例
经过一番寻根问底，我发现决定帧大小的代码是JavaCameraView里initializeCamera中的这一行
/* Select the size that fits surface considering maximum size allowed */
Size frameSize = calculateCameraFrameSize(sizes, new JavaCameraSizeAccessor(), width, height);
接着我们看这里计算帧大小的方法
protected Size calculateCameraFrameSize(List<?> supportedSizes, ListItemAccessor accessor, int surfaceWidth, int surfaceHeight) {
int calcWidth = 0;
int calcHeight = 0;
int maxAllowedWidth = (mMaxWidth != MAX_UNSPECIFIED && mMaxWidth < surfaceWidth) ? mMaxWidth : surfaceWidth;
int maxAllowedHeight = (mMaxHeight != MAX_UNSPECIFIED && mMaxHeight < surfaceHeight) ? mMaxHeight : surfaceHeight;
for (Object size : supportedSizes) {
int width = accessor.getWidth(size);
int height = accessor.getHeight(size);
if (width <= maxAllowedWidth && height <= maxAllowedHeight) {
if (height >= calcHeight && width >= calcWidth) {
calcWidth = (int) width;
calcHeight = (int) height;
}
}
}
return new Size(calcWidth, calcHeight);
}
这段代码首先是计算了允许的最大宽高，接着遍历当前设备支持的所有的摄像头预览尺寸，在这里的需要注意的是，得到的这些分辨率是类似这样的：
1920x1080 1280x720 800x480 768x432 720x480 640x480 576x432 480x320
也就是说之所以会出现正方形的预览情况，是因为实际视图想要的大小(例如1080宽 1920高)与设备实际得到的设备支持的预览尺寸的宽高比是不符的，这也就导致了这里的方法最后得到的尺寸宽高比变成了1:1(也就是主流设备上的1080x1080)。
因此我们为了让他符合我们的实际需求，将此处比较最大值的条件改成
height <= maxAllowedWidth && width <= maxAllowedHeight
这样最后得到的分辨率既是实际想要的最大纵向宽高比(当然这里最后得到的数值依旧是宽>高的，因为在initializeCamera的后续方法里依旧需要将这个尺寸作为参数设置给Camera)。
至此如果运行项目会发现程序会死在CameraBridgeViewBase中deliverAndDrawFrame方法的这一行
Utils.matToBitmap(modified, mCacheBitmap);
这行代码最后通过jni调用了OpenCV底层的方法，根据Log日志反馈的异常，我们查询源码，发现此处是一个断言异常，错误断言了此处的矩阵与Bitmap大小一致。我们再来看看此处的Bitmap从何而来，
protected void AllocateCache() {
mCacheBitmap = Bitmap.createBitmap(mFrameWidth, mFrameHeight, Bitmap.Config.ARGB_8888);
}
我们可以看到此处的Bitmap是提前就创建好的，调用AllocateCache()此方法的地方正是initializeCamera()，也就是说此处Bitmap的大小是在初始化相机的方法中传进去的，既他的宽是大于高的。而此处的modified矩阵就是我们在上面第一步中旋转好的帧所转化而来的，也就是说他是一个纵向的图像，如图所示：
而Utils.matToBitmap(modified, mCacheBitmap)这个方法的作用正是把矩阵转化为Bitmap。
至此相信很多小伙伴就已经知道该怎么改了——
我们只需要将Bitmap的初始化方法中的宽高对换即可让其与矩阵不再冲突
mCacheBitmap = Bitmap.createBitmap(mFrameHeight, mFrameWidth, Bitmap.Config.ARGB_8888);
Ok，这次我们跑起来就能看到竖向的并且是最大比例的预览图了。
由于笔者是一名初学者，若文章或代码里有不合理的地方，还请各位大佬提出来并给些意见。
