在机器视觉实验室呆了有一年半时间了，但由于自己“任性”。一直以来学习的内容都是自己来安排，我还是坚持认为没有最好和最简单的技术，只有自己喜欢的技术。不过说起来还是会觉得惭愧，经常听到师兄们谈论图像处理各种算法，可是一直到此软件诞生之前对机器视觉的知识可以说一概不知。自己研究的主要是Android系统的东西，从上层到下层都有所涉及。一直以来都想把自身所长和实验室主题联系上，这样可以多和实验室牛人沟通，也顺便刷刷存在感~由此向师兄师弟们请教一二，学了一点图像处理技术，做了一款Android平台的图像处理工具，可以帮助用户快速实时预览所要处理的图像在不同算法之下的结果。也由于本人所学算法太少，今后学了更多之后也会慢慢加入到软件中，将软件功能壮大起来。
首先讲讲软件到目前为止可以实现的功能：
- 开启手机相机预览图像
- 将采集到的图像转换成灰度图预览
- 将灰度图像经过Sobel转换后预览
- 对Sobel之后的图像进行二值化
- 二值化的过程中可以随时动态调整分割阈值
- 通过拍照按钮可以锁定图像，在按一次进行边缘提取
软件效果图如下：
首先是打开软件所看到的主界面：
然后点击菜单，切换到灰度图：
接着切换到Sobel变换
阈值为50的二值分割
最后进行边缘提取：
其中涉及到的算法有四个，具体的算法实现可以在软件源码中找到，点击下载源码
整个软件有3个类，也就三个不同的功能部分，其中MainActivity.java是主类，下面按照三个不同的功能成分对整个软件架构做一个详细的说明：
1、主界面
MainActivity.java ：
首先是界面布局，主要是一个ImageView用于显示整个预览框，另外加上一个拍照按钮和一个菜单按钮，点击菜单按钮弹出菜单。最后如果当前请求二值化算法，则显示一个滑动进度条和一个文本输入框来动态调整阈值。代码如下：
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
xmlns:tools="http://schemas.android.com/tools"
android:id="@+id/root"
android:layout_width="match_parent"
android:layout_height="match_parent"
tools:context=".MainActivity" >
<ImageView
android:id="@+id/preview"
android:layout_width="match_parent"
android:layout_height="match_parent" />
<Button
android:id="@+id/takePic_bt"
android:layout_width="60dp"
android:layout_height="60dp"
android:layout_alignParentRight="true"
android:layout_centerVertical="true"
android:layout_marginRight="15dp"
android:background="@drawable/shutter"
android:onClick="onClick_takePic" />
<ListView
android:id="@+id/list_view"
android:layout_width="150dp"
android:layout_height="match_parent"
android:layout_marginTop="20dp"
android:divider="#ff555555"
android:dividerHeight="1.3dp"
android:listSelector="@android:color/holo_blue_bright"
android:visibility="gone" >
</ListView>
<Button
android:id="@+id/takePic_bt"
android:layout_width="40dp"
android:layout_height="40dp"
android:layout_alignParentBottom="true"
android:layout_alignParentLeft="true"
android:layout_marginBottom="15dp"
android:layout_marginLeft="5dp"
android:background="@drawable/menu"
android:onClick="onClick_menu" />
<EditText
android:id="@+id/input_threshold"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_alignParentBottom="true"
android:layout_alignParentRight="true"
android:layout_margin="20dp"
android:inputType="numberDecimal"
android:text="240"
android:textColor="@android:color/holo_blue_bright"
android:visibility="gone" />
<SeekBar
android:id="@+id/seekbar"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:layout_alignParentBottom="true"
android:layout_marginBottom="20dp"
android:layout_marginLeft="50dp"
android:layout_toLeftOf="@id/input_threshold"
android:max="255"
android:progress="240"
android:visibility="gone" />
<View
android:id="@+id/topline"
android:layout_width="match_parent"
android:layout_height="2dp"
android:layout_marginLeft="100dp"
android:layout_marginRight="100dp"
android:layout_marginTop="50dp"
android:background="#444" />
<View
android:layout_width="2dp"
android:layout_height="180dp"
android:layout_alignEnd="@id/topline"
android:layout_below="@id/topline"
android:background="#444" />
<View
android:layout_width="2dp"
android:layout_height="180dp"
android:layout_alignStart="@id/topline"
android:layout_below="@id/topline"
android:background="#444" />
</RelativeLayout>
接下来加入对菜单和拍照按钮事件的监听方法，如下：
public void onClick_menu(View view)
{
if (isMenuVisible)
{
listView.startAnimation(menuInvisible);
listView.setVisibility(View.GONE);
isMenuVisible = false;
}
else
{
listView.startAnimation(menuVisible);
listView.setVisibility(View.VISIBLE);
isMenuVisible = true;
}
}
public void onClick_takePic(View view) throws IOException
{
getScreen.takePic(); //相机拍照
}
其中菜单的显示我添加了一个透明度动画，让软件界面更柔和。透明度补间动画比较简单，在res/anim/目录下添加两个动画资源用于显示和消失，然后再单击事件中播放动画即可。
然后是对弹出来的菜单编写点击事件，这里我用ListView做的菜单，用listView.setOnItemClickListener()方法设置回调方法。代码如下：
listView.setOnItemClickListener(new OnItemClickListener()
{
@Override
public void onItemClick(AdapterView<?> parent, View view,
int position, long id)
{
if (position == 3) // 灰度图则打开进度条
{
seekbar.setVisibility(View.VISIBLE);
inputThreshold.setVisibility(View.VISIBLE);
}
else
{
seekbar.setVisibility(View.GONE);
inputThreshold.setVisibility(View.GONE);
}
whichToDisplay = position; //切换算法
}
});
这里主要作用有两个：1、打开和关闭阈值进度条；2、切换用户点击的算法。当然，进度条打开之后也要有配套的监听程序，这里需要同时监听seekBar和editText两个控件，需要保持二者的同步，内容比较简单易懂，如下：
// 处理SeekBar
seekbar.setOnSeekBarChangeListener(new OnSeekBarChangeListener()
{
@Override
public void onStopTrackingTouch(SeekBar arg0)
{
thresholdValue = arg0.getProgress() > 255 ? 255 : arg0
.getProgress();
}
@Override
public void onStartTrackingTouch(SeekBar arg0)
{
}
@Override
public void onProgressChanged(SeekBar arg0, int arg1, boolean arg2)
{
inputThreshold.setText(arg0.getProgress() + "");
}
});
// 处理EditText
inputThreshold.setOnEditorActionListener(new OnEditorActionListener()
{
@Override
public boolean onEditorAction(TextView v, int actionId,
KeyEvent event)
{
seekbar.setProgress(Integer.parseInt(inputThreshold.getText()
.toString()));
return false;
}
});
好了，到这里基本上主界面的东西都考虑到了，下面是图像的获取部分。
2、获取相机图像并显示预览
GetScreen.java：
这一部分主要运用到对Android相机和预览功能的使用方面的内容。
- 对相机的使用：
按照我个人对相机的使用，可以简单归纳为6个步骤：
① 打开相机—— Camera.open();
② 设置相机参数——Camera.getParameters();
③ 设置图片预览容器——Camera.setPreviewTexture();
④ 开始预览——Camera.startPreview();
⑤ 设置预览回调接口——Camera.setPreviewCallback();
⑥ 关闭相机——Camera.close();
整个过程其实很简单，官方文档中强调了几个容易出错的地方：一个是注意3和4两个步骤的顺序不能反，另外是相机用完一定要关闭，否则其他程序将无法启动相机。经过本人的测试，如果不关闭相机，在退出的时候也会抛出异常，所以需要多加注意！
另外一个需要注意的是这里回调传入setPreviewCallback()方法的图像是YuV420p格式，需要转换成rgb格式方便处理。这里用到了一个decodeYUV420SP算法，详细内容见源码。转换成RGB格式之后可以很方便的生成Bitmap图片，然后在ImageView上显示即可。
其实这一部分比较麻烦的是对焦的步骤。首先我们通过亮度计算公式：
bright = 0.299 * r + 0.587 * g + 0.114 * b;
每隔500ms计算一次整幅图片的亮度平均值，然后和上一次的值对比，如果在某一个区间内，则说明相机前端图像已经趋于稳定，此时进行一次对焦，并设置相应标志位以保证在下一次稳定图像出现之前不在进行对焦。对焦函数如下：
private void autoFocus()
{
long currentTime = 0, stableTime = 0;
currentTime = System.currentTimeMillis();
bright = Pictures.getLight(rgb);
if (Math.abs(bright - lastBright) > focusThreshold)
{
lastBright = bright;
hasFocus = false;
stableTime = currentTime;
}
else
{
if (!hasFocus && currentTime - stableTime >= 500)
{
camera.autoFocus(new AutoFocusCallback()
{
@Override
public void onAutoFocus(boolean success, Camera camera)
{
}
});
hasFocus = true;
}
}
}
3、图像算法
Pictures.java：
进入到这里才真正开始涉及到图像处理算法的部分，这里会涉及到几个比较简单的算法，算法的原理这里就不多说了，网上关于图像处理技术的讲解有很多。
软件中主要有如下几个算法的静态方法：
- 前面提到的将YuV420p转成RGB格式：decodeYUV420SP();
- 计算图像的平均亮度： getLight();
- 获取八位灰度图像数组：getLightArray();
- 彩色图转换成灰度图：convertToGrey();
- Sobel变换：sobel();
- 对图片进行二值化处理：turnTo2();
- 边缘提取：findFrame();
在这里我把每个算法都写成了静态方法，这样可以很方便的在其他代码中使用算法处理图像，对图像的处理都在第二部分GetScreen的相机预览回调函数onPreviewFrame()中，这里也是整个软件的核心步骤。代码如下：
@Override
public void onPreviewFrame(byte[] data, Camera camera)
{
rgb = new int[Pictures.PIC_LENGTH];
sobelPic = new int[Pictures.PIC_LENGTH];
grey = new int[Pictures.PIC_LENGTH];
Pictures.decodeYUV420SP(rgb, data, width, height);
switch (MainActivity.whichToDisplay)
{
case 1: // 显示灰度图
Pictures.convertToGrey(rgb, grey);
display = grey;
break;
case 2:
Pictures.convertToGrey(rgb, grey); // sobel变换之后显示
Pictures.sobel(grey, width, height, sobelPic);
display = sobelPic;
break;
case 3: // 二值化显示
Pictures.convertToGrey(rgb, grey);
Pictures.sobel(grey, width, height, sobelPic);
Pictures.turnTo2(sobelPic);
display = sobelPic;
break;
default:
display = rgb;
}
bitmap = Bitmap.createBitmap(display, width, height, Config.RGB_565);
MainActivity.setImageView(bitmap);
autoFocus();
}
首先将图片转换为RGB格式（为了方便处理），然后根据主界面的菜单选项切换不同的算法，并将不同的算法下的图片显示到ImageView上，最后进行对焦。
通常在做图像处理过程中，会先在MATLAB或者Visual Stuio中进行仿真。这需要不断的将图片导入→然后编译→最后输出。而用这款Android图像处理工具可以做到实时观测各种图像在不同算法下的结果图，相比之下更方便。只是现在支持的算法不多，今后有时间会继续学习一些常用的算法加入到软件中。我也会即时更新博客与大家分享。
大家如果有什么意见或者问题可以随时留言一起讨论~
APK下载地址：http://yun.baidu.com/share/link?shareid=515722756&uk=67973003
GitHub源码地址：https://github.com/hust-MC/Find_Different.git
