TesseractOCR

最近研究并学习了一下 TesseractOCR ，它是一款由HP实验室开发由 Google 维护的开源 OCR（Optical Character Recognition , 光学字符识别）引擎。

iOS 上初步的使用 TesseractOCR 进行图像文字提取。

1、在 github 下载图像识别demo源码：Tesseract OCR ----https://github.com/gali8/Tesseract-OCR-iOS，默认英文识别。

2、中文识别：增加并替换文字库，字库链接 https://github.com/tesseract-ocr/tessdata

增加：在 tessdata 文件夹中，你会看到只有一个 eng.traineddata 的英文文字库，这个时候你需要去下载中文文字库： chi_sim.traineddata ，并将其拷贝到 tessdata 文件夹中。
替换：修改代码，@"eng" -- @"chi_sim"

//    G8RecognitionOperation *operation = [[G8RecognitionOperation alloc] initWithLanguage:@"eng"];
    G8RecognitionOperation *operation = [[G8RecognitionOperation alloc] initWithLanguage:@"chi_sim"];

问题来了：这个时候会发生两种问题：

第一： actual_tessdata_num_entries_ <= TESSDATA_NUM_ENTRIES:Error:Assert failed:in file tessdatamanager.cpp, line 53 这是字库版本不对的问题，需要在字库链接中选中分支 （Branch），选择不同的版本 (tag)。本人使用 3.04.00 。这样就不会报错了。

第二：字库正常的情况下，点击识别的时候立刻退出的情况。会出现 allow_blob_division 这个问题。
对于 Windows用户来说，可以参考这篇文章：http://www.cocoachina.com/bbs/read.php?tid-1680510.html。大概思路是重新联立这个中文字库。

对于 Mac 用户来说，很抱歉，我暂时也没找到解决办法，有一个想法是通过 Windows 的计算机把这个字库文件暂时修改后，转移到 tessdata 文件夹来进行操作。 PS ：未经尝试。

优化识别功能。

因为 TessractOCR 进行图片文字提取耗时比较久，于是，结合 OpenCV 框架首先进行图像处理，然后再让 TessractOCR 识别，来达到时间的优化的目的。

例子：身份证识别。

一、第三方框架准备，使用 Cocoapods ：
OpenCV 指定版本 3.0.0 不会拉取不成功，其他版本会失败。 TesseractOCRiOS 是一个大神专门为了 iOS 系统对 TessractOCR 的 OC 封装。

platform :ios, ‘8.0’

target '身份证识别' do
 pod 'OpenCV', '~> 3.0.0'
 pod 'TesseractOCRiOS', '~> 4.0.0'
end

二、图像处理技术：
1、灰度化处理：将指定图片每个像素点的 RGB 三个分量通过算法计算出该像素点的灰度值，将图像的色彩信息进行移除。

cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);

2、二值化：将经过灰度处理的图片转换为只包含黑白二色的图像。图像中只存在 255（白色） 或者 0（黑色）。
二值化参考网址：https://blog.csdn.net/u013270326/article/details/72897507
//www.greatytc.com/p/6efd324e8677

cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);

3、腐蚀：将二值图中的黑色进行放大。将图片中黑色文字或者头像区域连城一体，形成一个黑色区域（文字形成的区域一般是矩形）。

    cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
    cv::erode(resultImage, resultImage, erodeElement);

4、轮廓检测：图片经过腐蚀之后形成一个一个的矩形区域，通过轮廓检测，能把一个一个的矩形塞到一个类似于数组这样的集合中。我们就可以通过特征算法获取到身份证的区域。并把这个区域的图片单独提取出来，进行 TesseractOCR 图像信息提取。

  // 轮廓检测
    std::vector<std::vector<cv::Point>> contours; // 定义一个容器来存储所有检测到的轮廓
    cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
    
    // 取出身份证号码区域
    std::vector<cv::Rect> rects;
    cv::Rect numberRect = cv::Rect(0,0,0,0);
    std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();

    for ( ; itContours != contours.end(); ++itContours) {
        cv::Rect rect = cv::boundingRect(*itContours);
        rects.push_back(rect);
        //算法原理
        if (rect.width > numberRect.width && rect.width > rect.height * 5) {
            numberRect = rect;
        }
    }

三、文字识别技术。直接使用封装好的 TessractOCRiOS 方法进行图片识别。

dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
        G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
        tesseract.image = [image g8_blackAndWhite];
        tesseract.image = image;
        // Start the recognition
        [tesseract recognize];
        //执行回调
        dispatch_async(dispatch_get_main_queue(), ^{
            completeBlock(image, tesseract.recognizedText);
        });
    });

具体代码如下：

一、 viewController 调用代码：

//适用获取所有媒体资源，只需判断资源类型
- (void)imagePickerController:(UIImagePickerController *)picker didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info{
    NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
    UIImage *srcImage = nil;
    //判断资源类型
    if ([mediaType isEqualToString:@"public.image"]){
        srcImage = info[UIImagePickerControllerEditedImage];
        self.imageView.image = srcImage;
        //识别身份证
        self.textLabel.text = @"图片插入成功，正在识别中...";
        [[RecognizeCardManager shareManager] recognizeCardWithImage:srcImage complete:^(UIImage *cropImage, NSString *text) {
            if (text != nil) {
                self.textLabel.text = [NSString stringWithFormat:@"识别结果：%@",text];
                NSLog(@"%@", self.textLabel.text);
                CGFloat width = cropImage.size.width;
                CGFloat height = cropImage.size.height;
                if (cropImage.size.width > self.view.bounds.size.width) {
                    width = self.imageView.frame.size.width;
                }
                
                if (cropImage.size.height > self.imageView.frame.size.height) {
                    height = self.imageView.frame.size.height;
                }
                UIImageView *imageView = [[UIImageView alloc] initWithFrame:CGRectMake(0, CGRectGetMinY(self.imageView.frame), width, cropImage.size.height)];
                imageView.contentMode = UIViewContentModeScaleAspectFit;
                imageView.image = cropImage;
                UIWindow *window = [[UIApplication sharedApplication] keyWindow];
                [window addSubview:imageView];
            }else {
                self.textLabel.text = @"识别失败";
            }
        }];
    }
    [self dismissViewControllerAnimated:YES completion:nil];
}

二、 recognizeCardManager 代码：
.h

#import <Foundation/Foundation.h>

@class UIImage;

typedef void (^CompleteBlock) (UIImage *cropImage, NSString *text);

@interface RecognizeCardManager : NSObject

+ (instancetype)shareManager;

- (void)recognizeCardWithImage:(UIImage *)cardImage complete:(CompleteBlock)completeBlock;

- (void)tesseractRecogniceWithImage:(UIImage *)inputImage complete:(CompleteBlock)complete;

@end

.m

#import "RecognizeCardManager.h"
#import <opencv2/opencv.hpp>
#import <opencv2/imgproc/types_c.h>
#import <opencv2/imgcodecs/ios.h>
#import <TesseractOCR/TesseractOCR.h>


@implementation RecognizeCardManager

+ (instancetype)shareManager
{
    static RecognizeCardManager *manager = nil;
    static dispatch_once_t onceToken;
    
    dispatch_once(&onceToken, ^{
        manager = [[RecognizeCardManager alloc] init];
    });
    return manager;
}

- (void)recognizeCardWithImage:(UIImage *)cardImage complete:(CompleteBlock)completeBlock
{
    // 扫描身份证图片，并进行预处理，定位号码区域图片并返回
    UIImage *numberImage = [self opencvScanCard:cardImage];
//    UIImage *numberImage = cardImage;
    if (numberImage == nil) {
        completeBlock(numberImage, nil);
    }
    
    // TesseractORC识别文字
    [self tesseractRecognizeImage:numberImage complete:^(UIImage *cropImage, NSString *numberText) {
        completeBlock(numberImage, numberText);
    }];
}

- (UIImage *)opencvScanCard:(UIImage *)image
{
    // 将UIImage 转换成mat
    cv::Mat resultImage;
    UIImageToMat(image, resultImage);
    
    // 转为灰度
    cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);

    // 利用阀值二值化
    cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
    
    // 腐蚀，填充（腐蚀背景）
    cv::Mat erodeElement = getStructuringElement(cv::MORPH_RECT, cv::Size(26,26));
    cv::erode(resultImage, resultImage, erodeElement);
    
    // 轮廓检测
    std::vector<std::vector<cv::Point>> contours; // 定义一个容器来存储所有检测到的轮廓
    cv::findContours(resultImage, contours, CV_RETR_TREE, CV_CHAIN_APPROX_SIMPLE, cvPoint(0, 0));
    
    // 取出身份证号码区域
    std::vector<cv::Rect> rects;
    cv::Rect numberRect = cv::Rect(0,0,0,0);
    std::vector<std::vector<cv::Point>>::const_iterator itContours = contours.begin();

    for ( ; itContours != contours.end(); ++itContours) {
        cv::Rect rect = cv::boundingRect(*itContours);
        rects.push_back(rect);
        //算法原理
        if (rect.width > numberRect.width && rect.width > rect.height * 5) {
            numberRect = rect;
        }
    }
    
    //身份证号码定位失败
    if (numberRect.width == 0 || numberRect.height == 0) {
        return nil;
    }
    //定位成功成功，去原图截取身份证号码区域，并转换成灰度图、进行二值化处理
    cv::Mat matImage;
    UIImageToMat(image, matImage);
    resultImage = matImage(numberRect);
//    resultImage = matImage;
    cvtColor(resultImage, resultImage, cv::COLOR_BGR2GRAY);
    cv::threshold(resultImage, resultImage, 80, 255, CV_THRESH_BINARY);
    //将Mat转换成UIImage
    UIImage *numberImage = MatToUIImage(resultImage);
    return numberImage;
}

//利用TesseractOCR识别文字
- (void)tesseractRecognizeImage:(UIImage *)image complete:(CompleteBlock)completeBlock {
    
    dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{
        G8Tesseract *tesseract = [[G8Tesseract alloc] initWithLanguage:@"eng"];
        tesseract.image = [image g8_blackAndWhite];
        tesseract.image = image;
        // Start the recognition
        [tesseract recognize];
        //执行回调
        dispatch_async(dispatch_get_main_queue(), ^{
            completeBlock(image, tesseract.recognizedText);
        });
    });
}

- (void)tesseractRecogniceWithImage:(UIImage *)inputImage complete:(CompleteBlock)complete
{
    [self tesseractRecogniceWithImage:inputImage complete:complete];
}

@end