前言
最近要做目标跟踪的APP，在恶补这方面的知识，在opencv3里面，关于目标跟踪的API在contrib模块里面，需要单独下载编译。前几天编译这个弄了两三天，可以说熟知各种bug了，详细内容其他博客都有介绍，下载，cmake编译生成，然后VS调试生成项目之类的，我觉得过程中最重要的是，contrib版本一定要与opencv版本相匹配啊！如果是最新下载的opencv，那么在GitHub上下载contrib-master这一版就行了。如果因为版本不一致导致cmake编译出错，不要犹豫！一切重来！还有一点，如果你专注C++三百年，那么cmake时，关于Python和MATLAB的选项就可以去掉了，亲测在编译Python时最后很容易出错，如果你不需要GPU并行计算，那么with_CUDA也可以去掉了 。最后VS生成完整项目后，可以从你的代码的API直接转到源码，还是很方便的。
1.API
目标跟踪是计算机视觉应用中最重要的问题之一 这个领域的发展非常分散，他的API是一个独特的接口，可以插入不同算法并比较他们。
跟踪算法开始于目标的边界框，并且以其内部表示来避免跟踪期间的漂移。目标跟踪能够在新的视频帧下在线评估目标的定位质量。
opencv中有三个组件， TrackerSampler，TrackerFeatureSet，TrackerModel.第一个组件用于计算基于上一目标定位的视频帧的模板。第二个是管理特征的类，可以插入不同的特征 (HAAR, HOG, LBP, Feature2D, etc). 最后一个是目标的内部表示，它存储所有候选状态并计算轨迹（最可能的目标状态）。TrackerTargetState类表示目标的可能状态。该TrackerSampler和TrackerFeatureSet是目标的可视表示，而TrackerModel是统计模型。
2.先来一个Tracker
直接上官方源码
#include <opencv2/core/utility.hpp>
#include <opencv2/tracking.hpp>
#include <opencv2/videoio.hpp>
#include <opencv2/highgui.hpp>
#include <iostream>
#include <cstring>
using namespace std;
using namespace cv;
int main( int argc, char** argv ){
// show help
if(argc<2){
cout<<
" Usage: tracker <video_name>\n"
" examples:\n"
" example_tracking_kcf Bolt/img/%04d.jpg\n"
" example_tracking_kcf faceocc2.webm\n"
<< endl;
return 0;
}
// declares all required variables
Rect2d roi;
Mat frame;
// create a tracker object
Ptr<Tracker> tracker = TrackerKCF::create();
// set input video
std::string video = argv[1];
VideoCapture cap(video);
// get bounding box
cap >> frame;
roi=selectROI("tracker",frame);
//quit if ROI was not selected
if(roi.width==0 || roi.height==0)
return 0;
// initialize the tracker
tracker->init(frame,roi);
// perform the tracking process
printf("Start the tracking process, press ESC to quit.\n");
for ( ;; ){
// get frame from the video
cap >> frame;
// stop the program if no more images
if(frame.rows==0 || frame.cols==0)
break;
// update the tracking result
tracker->update(frame,roi);
// draw the tracked object
rectangle( frame, roi, Scalar( 255, 0, 0 ), 2, 1 );
// show image with the tracked object
imshow("tracker",frame);
//quit on ESC button
if(waitKey(1)==27)break;
}
return 0;
}
1.建立输入视频
if(argc<2){
cout<<
" Usage: tracker <video_name>\n"
" examples:\n"
" example_tracking_kcf Bolt/img/%04d.jpg\n"
" example_tracking_kcf faceocc2.webm\n"
<< endl;
return 0;
}
这里，你可以选择视频或者一组图片向量作为程序输入。像在help所写，你可以指定输入的视频作为程序的参数。如果你想用图片向量作为输入，图片向量应该像help里那样指定格式。比如在这里，图片文件是4个数字。0001.jpg,0002.jpg这样。
VideoCapture cap(video);
cap >> frame;
opencv为操作视频提供了接口VideoCapture，可以从文件或摄像设备读取视频，有两种方法。
VideoCapture cap("../***.avi");
cap.open("../***.avi");
如果把文件名换为设置ID，则可打开摄像头，默认为0.
获取帧：
// 方法一
capture.read(frame);
// 方法二
capture.grab();
capture.retrieve(frame);
// 方法三
capture>>frame;
2.声明变量
你需要对跟踪的对象划定边界框。然后用tracker对象对这个值更新。
Rect2d roi;
Mat frame;
frame变量将用于存储输入的每一帧的图片数据。
3.创建tracker对象
Ptr<Tracker> tracker = TrackerKCF::create();
有至少5种tracker算法可供使用
- MIL
- BOOSTING
- MEDIANFLOW
- TLD
- KCF
每一种算法都有它的优点和缺点。
4.选择跟踪对象
roi=selectROI("tracker",frame);
使用这个函数，你可以通过GUI来选择追踪对象的边界框。
5.初始化tracker对象
tracker->init(frame,roi);
跟踪算法应该初始化提供的图片数据和跟踪对象的边界框。确定边界框不是无效的（尺寸大于0）以避免初始化进程失败。
6.更新
tracker->update(frame,roi);
更新函数将执行tracking进程并传递roi变量的结果。
