功能描述

使用openCV对所选物体或区域进行视觉跟踪

• 步骤一: 编译opencv.framework
  • 1.1. 首选从github上下载所需要的库opencv和opencv_contrib版本一定要保持一致

例如: 
opencv-4.0.1 [https://github.com/opencv/opencv/archive/4.0.1.zip](https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fopencv%2Fopencv%2Farchive%2F4.0.1.zip)
opencv_contrib-4.0.1 [https://github.com/opencv/opencv_contrib/releases](https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fopencv%2Fopencv_contrib%2Freleases)

• 1.2. 新建文件件opencvworkspace，cd~到新建的这个文件夹，然后将下载的opencv解压添加到此文件夹中， 最后在终端中回车下面的命令，编译成功后就能得到opencv.framework

python /Users/alex/Desktop/opencvworkspace/opencv/platforms/ios/build_framework.py  --contrib /Users/alex/Desktop/opencvworkspace/opencv_contrib ios

• 步骤二：封装Tracker类
• 2.1. Xcode新建QYVisualLockManager类，由于opencv使用的是C++文件，需要我们手动将.m文件设置成.mm，这样才能支持我们Object-C和C++的混编。
• 2.2.opencv中支持很多种视觉跟踪算法，如下：

typedef NS_ENUM(NSUInteger, OPVisualLockType) {
    OPVisualLockTypeMedianFlow = 0,
    OPVisualLockTypeCSRT,
    OPVisualLockTypeKCF,
    OPVisualLockTypeMIL,
    OPVisualLockTypeTLD,
    OPVisualLockTypeMOSSE
};

在使用opencv之前我们先导入opencv需要的文件#import <opencv2/tracking/tracking_legacy.hpp>进入头文件，我们可以看到TrackerMedianFlow这个派生类。它就是实现我们视觉跟踪的管理者。如下图：
[图片上传中...(Snip20220511_2.png-4e711a-1652266707903-0)]

TrackerMedianFlow

Tracker

从两张图片可以大概看出视觉工作的创建思路：
2.1.1，我们选择TrackerMedianFlow算法， 从图中可以看出，首先我们需要调用它的create（）函数, 它是static类型的指针，所以不需要我们手动去 release() TrackerMedianFlow
2.1.2，创建Tracker： 由Tracker提供的init方法；根据注释可以看出我们需要提供一个bounds（即需要锁定跟踪的区域）还有一个InputArray类型的image这个类型cv::Mat. 由于我们拉流获取的是视频帧，opencv官网提供了一个image转cv::Mat的方法。所以我先将buffer转成了image，最后得到Mat。
2.1.3, create和init完成后，说明TrackerMedianFlow已经初始化完成，需要手动释放cv:Mat类型的 imageMat.release();

核心代码如下：

- (void)startVisualLockWithImage:(UIImage *)image visualType:(QYVisualLockType)visualType sizeScale:(CGSize)sizeScale centerScale:(CGPoint)centerScale complete:(QYStartVLBlock)complete {
    if (!image) return;
     cv::Mat imageMat = [self cvMatFromUIImage:image];
    if (imageMat.rows <= 0 || imageMat.cols <= 0) {return;}
    
    [self.queue setSuspended:NO];
    cv::Rect2d rect2d =  [self calculateRectInImageMat:imageMat sizeScale:sizeScale centerScale:centerScale];
    
#ifdef DEBUG
    NSLog(@"Tracker-Init: %d x=%f y= %f w= %f h= %f sizeScale = %@ centerScale= %@",1, rect2d.x, rect2d.y, rect2d.width, rect2d.height, NSStringFromCGSize(sizeScale), NSStringFromCGPoint(centerScale));
#endif
    
    medianTracker = cv::legacy::TrackerMedianFlow::create();
    bool isTrackerInit = medianTracker->init(imageMat, rect2d);
    self.isInitTracker = isTrackerInit;
    complete([self calculateRectWithScreenScale:sizeScale centerScale:centerScale] ,isTrackerInit);
    imageMat.release();
}

2.2, TrackerMedianFlow 初始化完成后，就实现了实时追踪我们所选的区域或物体，他的变化是Tracker 的 update（）函数，我们可以调用这个函数实时获取更新后的rect2d. 核心代码如下：

- (void)updateVisualLockWithImage:(UIImage *)image visualType:(QYVisualLockType)visualType complete:(QYUpdateVLBlock)complete {
    if (self.queue.isSuspended) {return;}
    if (self.isInitTracker == NO) {return;}
    if (!image) {return;}
    
//    [self.lock lock];
    __weak typeof(self)weaksekf = self;
    if (image == nil) {return;};
    cv::Mat imageMat = [self cvMatFromUIImage:image];
    if (imageMat.rows <= 0 || imageMat.cols <= 0) {return;}
    cv::Rect2d rect2d = cv::Rect2d(0, 0, 0, 0);
    bool isUpdate = medianTracker -> update(imageMat, rect2d);
    QYVisualLockModel * model  = [self getVisualLockSaleWithMat:imageMat rect2d:rect2d];
#ifdef DEBUG
    NSLog(@"Tracker - update -: c_x_scale = %f c_y_scale = %f w_scale = %f h_scale = %f",  rect2d.x, rect2d.y, rect2d.width, rect2d.height);
#endif
    dispatch_async(dispatch_get_main_queue(), ^{
        complete(model, isUpdate);
        [weaksekf.queue cancelAllOperations];
    });
    imageMat.release();
//    [self.lock unlock];
}

备注： 不管是初始化opencv还是opencv的update（）函数， 完成后都需要将cv：Mat进行释放，否则会造成内存溢出等问题；

总结：

在使用opencv进行视觉跟踪时，需要明确的一点是一定要保证update()函数在init（）函数成功后再执行。否则会造成闪退，闪退的原因是opencv内部会进行断言。具体问题如下：

(-215:Assertion failed) maxLevel >= 0 && winSize.width > 2 && winSize.height > 2 in function 'calc'

(-215:Assertion failed) ofs.x >= winSize.width && ofs.y >= winSize.height && ofs.x + prevPyr[lvlStep1].cols + winSize.width <= fullSize.width && ofs.y + prevPyr[lvlStep1].rows + winSize.height <= fullSize.height in function 'calc'

我的具体解决方案：
1，确保调用顺序是init->update
2，确保传进来的image是有值的
3，在使用视觉跟踪时进行了加锁操作