关于 Ndk 开发，网上的资料比较少，这方面的书籍也不多。因为其涉及的知识非常广，时常有哥们问我，东西那么多到底要学到什么程度呢？到底应该怎么学？这期我给大家来做一个简单回答，首先单纯站在 Android 系统的角度来说，我们可以细分为 Java 层和 Native(c/c++) 层。站在 Android 开发的角度来说，我们又可以细分为精通 Android 开发和精通 c/c++ 开发。当然笔者之前在长沙从事 Android 开发，公司是不存在 c/c++ 工程师的，也就是说所有的开发工作调用 Android Framework 层的 Api 就都能实现。
来到深圳做音视频项目，公司有专门的引擎部门，也就是说有专门的 c/c++ 音视频工程师。为了能够让 Android 和 c/c++ 打通，因此就多出来了第三类开发者，熟悉 Android 开发和熟悉 c/c++ 开发，也就是我们通常所说的 Ndk 开发，因此一个合格的 Android 开发者必须要熟悉 c/c++，我们开发个三年五载想要提升，也需要尝试着去熟悉 c/c++。
我们可能又会想，精通一门开发语言至少需要个三年五载，Java 都够我们折腾的了，哪还有时间去学习 c/c++ ，但有些招聘需求上又明确要求开发者需要熟悉 c/c++，比如 Android 音视频开发和 Android 智能识别开发等。那如果我们想要从事 Ndk 开发，得怎么去学又得学哪些东西？这里我简单的罗列一个小清单：
- 熟悉 c/c++ 基础语法
- 熟悉 jni 基础知识
- 熟悉 c/c++ 进阶知识
- 熟悉 linux 内核
- 熟悉 shell 脚本
- 熟悉 cmake 语法
上面的内容看似有点多，但当我们真正下定决心去学时，其实并不难也比较简单。注意上面写的是熟悉但并不是精通，我们得先熟悉然后再去精通，怎么才是算熟悉呢？首先是读，我们能够看懂 Android Native 层的源码，读 native 层源码有助于我们日常的开发和性能优化。其次是我们还要能够写，那怎么写如何写？其实套路也就那么多，这篇文章我们主要来学习如何封装 sdk 给 Java 调用者，这里我以之前所学的 OpenCv 为例来写。
1.封装 Java 层 Mat
在《图形图像处理 - 手写 QQ 说说图片处理效果》 一文中处理油画效果是这么写的：
/**
* 实现图像油画效果
*
* @param bitmap 原图片
* @return 油画效果图像
*/
public static final native Bitmap oilPainting(Bitmap bitmap);
// Native 层代码
extern "C"
JNIEXPORT jobject JNICALL
Java_com_darren_ndk_day70_NDKBitmapUtils_oilPainting(JNIEnv *env, jclass type, jobject bitmap) {
// 油画基于直方统计
// 1. 每个点需要分成 n*n 小块
// 2. 统计灰度等级
// 3. 选择灰度等级中最多的值
// 4. 找到最大等级的像素取平均值
// 省略代码部分 ......
return bitmap;
}
我们不妨来思考一下，在真正开发的过程中，我们基本都是按需定制，简单一点说就是你需要什么功能，我就增加代码封装提供功能。这在 Java 层开发时倒是无所谓，改改代码直接调一下就可以了，但 Ndk 开发所涉及的就不再只是 Java 了，改了代码必须重新编译 so 库。倘若需求稍微有变动，我们需要改 Native 层代码，然后重新编译 so 库，再联调再测试，再改再联调再测试。
相信大家都能听明白我想表达的意思，因此我们在提供 sdk 时一定要考虑周到，尽量不要反复的去改 c/c++ 代码，尽量不要反复编译联调 so 库。接下来我们来思考一下，如何才能有效的避免我以上所说的这些问题，假设刚开始需要提供一个做掩摸操作的功能，那代码可能会是如下这样：
/**
* 掩模操作处理
*
* @param bitmap 原图
* @return 掩模效果图
*/
public native static Bitmap mask(Bitmap bitmap);
// native 代码
extern "C"
JNIEXPORT jobject JNICALL
Java_com_darren_ndk_day72_MainActivity_mask(JNIEnv *env, jclass type, jobject bitmap) {
// 1. bitmap -> mat
Mat src;
cv_helper::bitmap2mat(env, bitmap, src);
// bgra -> bgr 否则 filter2D 会报错
cvtColor(src, src, COLOR_BGRA2BGR);
// 2. 自定义卷积核
Mat kernel(3, 3, CV_32FC1);
kernel.at<float>(0, 0) = 0;
kernel.at<float>(0, 1) = -1;
kernel.at<float>(0, 2) = 0;
kernel.at<float>(1, 0) = -1;
kernel.at<float>(1, 1) = 5;
kernel.at<float>(1, 2) = -1;
kernel.at<float>(2, 0) = 0;
kernel.at<float>(2, 1) = -1;
kernel.at<float>(2, 2) = 0;
// 3. 卷积运算
Mat dst;
filter2D(src, dst, src.depth(), kernel);
// 4. mat -> bitmap
cv_helper::mat2bitmap(env, dst, bitmap);
return bitmap;
}
假设现在又需要提供一个模糊操作，那么我们可能又得新提供 native 方法，得重新编译调试 so ，代码可能会如下：
/**
* 模糊处理
*
* @param bitmap 原图
* @param size 模糊半径，半径越大越模糊
* @return 模糊效果图
*/
public native static Bitmap blur(Bitmap bitmap, int size);
// native 层代码
extern "C"
JNIEXPORT jobject JNICALL
Java_com_darren_ndk_day72_MainActivity_blur(JNIEnv *env, jclass type, jobject bitmap, jint size) {
// 1. bitmap -> mat
Mat src;
cv_helper::bitmap2mat(env, bitmap, src);
// bgra -> bgr 否则 filter2D 会报错
cvtColor(src, src, COLOR_BGRA2BGR);
// 2. 模糊卷积核
Mat kernel = Mat::ones(Size(size, size), CV_32FC1) / (size * size);
// 3. 卷积运算
Mat dst;
filter2D(src, dst, src.depth(), kernel);
// 4. mat -> bitmap
cv_helper::mat2bitmap(env, dst, bitmap);
return bitmap;
}
倘若后面又出现了一个其他类似的功能，那么我又得新提供 native 方法，重新编译调试 so ，就出现了我上面所说的，改 Native 层代码，重新编译 so 库，再联调再测试，再改再联调再测试。因此接下来我们需要将这些代码拆分出来封装，我们在 Java 层创建一个 Mat.java 对象用来对应 Native 层的 Mat.cpp 对象，这种思想有点类似于系统的 Bitmap 对象。关于这部分知识大家可以参考这篇文章《JNI 基础 - Android 共享内存的序列化过程》
public class Mat {
/**
* Native 创建 Mat 的首地址
*/
public final long mNativePtr;
private int rows;
private int cols;
private CVType type;
public Mat(int rows, int cols, CVType type) {
this.cols = cols;
this.rows = rows;
this.type = type;
mNativePtr = nMatIII(rows, cols, type.value);
}
public Mat() {
mNativePtr = nMat();
}
/**
* 创建 Native Mat.cpp 对象
*
* @return Mat.cpp 对象头指针
*/
private native long nMat();
/**
* 创建 Native Mat.cpp 对象
*
* @param rows 高
* @param cols 宽
* @param type 类型
* @return Mat.cpp 对象头指针
*/
private native long nMatIII(int rows, int cols, int type);
/**
* 这个方法提供给 Java 调用者
*
* @param row
* @param col
* @param value
*/
public void put(int row, int col, int value) {
if (type == CVType.CV_32FC1) {
throw new UnsupportedOperationException("Provider value nonsupport and please check CVType.");
}
nPutI(mNativePtr, row, col, value);
}
/**
* 这个方法提供给 Java 调用者
*
* @param row
* @param col
* @param value
*/
public void put(int row, int col, float value) {
if (type != CVType.CV_32FC1) {
throw new UnsupportedOperationException("Provider value nonsupport and please check CVType.");
}
nPutF(mNativePtr, row, col, value);
}
@Override
protected void finalize() throws Throwable {
super.finalize();
// GC 回收该对象时 delete Mat.cpp 对象
nDelete(mNativePtr);
}
public int getCols() {
return cols;
}
public int getRows() {
return rows;
}
public CVType getType() {
return type;
}
public void release() {
nRelease(mNativePtr);
}
private native void nDelete(long nativePtr);
private native void nRelease(long nativePtr);
private native void nPutI(long nativePtr, int row, int col, int value);
private native void nPutF(long nativePtr, int row, int col, float value);
}
2. JNI 异常处理
关于 jni 的异常处理这是个技术活，之前的文章也有提到，这里还是要再做一些强调，我们提供的 sdk 代码尽量不要无缘无故的崩掉，适当的地方需要抛 Java 异常。因为 native 崩溃不像 Java 崩溃那样会有 log 日志打印，如果用户只看到闪退却看不到崩溃信息，用户可能根本无法进行调试修改。因此我们要学会抛 java 异常。
void cv_helper::bitmap2mat(JNIEnv *env, jobject &bitmap, cv::Mat &dst) {
try {
AndroidBitmapInfo bitmapInfo;
CV_Assert(AndroidBitmap_getInfo(env, bitmap, &bitmapInfo) >= 0);
void *pixels;
CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
CV_Assert(pixels);
if (bitmapInfo.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {
// ANDROID_BITMAP_FORMAT_RGBA_8888 -> CV_8UC4
dst.create(bitmapInfo.height, bitmapInfo.width, CV_8UC4);
dst.data = reinterpret_cast<uchar *>(pixels);
} else if (bitmapInfo.format == ANDROID_BITMAP_FORMAT_RGB_565) {
dst.create(bitmapInfo.height, bitmapInfo.width, CV_8UC2);
dst.data = reinterpret_cast<uchar *>(pixels);
} else {
cv::Exception exception;
exception.msg = "Bitmap only support RGBA_8888 and RGB_565";
throw exception;
}
AndroidBitmap_unlockPixels(env, bitmap);
} catch (const cv::Exception exception) {
jclass ej = env->FindClass("java/lang/Exception");
env->ThrowNew(ej, exception.what());
} catch (...) {
jclass ej = env->FindClass("java/lang/Exception");
env->ThrowNew(ej, "Unknown exception in JNI code {mat2bitmap}");
}
}
测试代码
Bitmap srcBitmap = BitmapFactory.decodeResource(getResources(), R.mipmap.lbb);
Bitmap dstBitmap = Bitmap.createBitmap(srcBitmap.getWidth(), srcBitmap.getHeight(), Bitmap.Config.ALPHA_8);
// 模糊卷积核
int size = 9;
Mat kernel = new Mat(size, size, CVType.CV_32FC1);
float value = 1f / (size * size);
for (int rows = 0; rows < size; ++rows) {
for (int cols = 0; cols < size; ++cols) {
kernel.put(rows, cols, value);
}
}
Mat srcMat = new Mat();
Utils.bitmap2mat(srcBitmap, srcMat);
Mat dstMat = new Mat();
// 卷积运算
Imgproc.filter2D(srcMat, dstMat, kernel);
Utils.mat2Bitmap(dstMat, dstBitmap);
最后大家可以尝试着去了解了解腾讯的开源框架 MMKV，可以去学学其代码的内部实现，既然我们学了 NDK 肯定需要时常拿出来溜溜。我们也可以对其做一些优化，比如支持写入对象，写入共享内存等等。
视频地址：https://pan.baidu.com/s/17v_gCfNtuhjd6LzXkhvHnw
视频密码：vj19
