人工智能系列:OCR 自定义模板识别(支持表格识别)

目录:

http://www.aias.top/

OCR 自定义模板识别(支持表格识别)

文字识别(OCR)目前在多个行业中得到了广泛应用,比如金融行业的单据识别输入,餐饮行业中的发票识别,
交通领域的车票识别,企业中各种表单识别,以及日常工作生活中常用的身份证,驾驶证,护照识别等等。
OCR(文字识别)是目前常用的一种AI能力。
一般OCR的识别结果是一种按行识别的结构化输出,能够给出一行文字的检测框坐标及文字内容。
但是我们更想要的是带有字段定义的结构化输出,由于表单还活着卡证的多样性,全都预定义好是不现实的。
所以,设计了自定义模板的功能,能够让人设置参照锚点(通过锚点匹配定位,图片透视变换对齐),以及内容识别区
来得到key-value形式的结构化数据。

当前精简试用版(无数据库,redis等)包含了下面功能:

  1. 模板自定义
  2. 基于模板识别
  3. 自由文本识别
  4. 表格文本识别(图片需是剪切好的单表格图片)
  5. 表格自动检测文本识别(支持表格文字混编,自动检测表格识别文字,支持多表格)
    (需要图片都是摆正的,即没有旋转角度。)

环境

  • JDK 1.8 或以上版本。

1. 前端部署

1.1 下载安装:

OCR_UI

1.2 nginx部署运行:

cd /usr/local/etc/nginx/
vi /usr/local/etc/nginx/nginx.conf
# 编辑nginx.conf

    server {
        listen       8080;
        server_name  localhost;

        location / {
            root   /Users/calvin/ocr/dist/;
            index  index.html index.htm;
        }
     ......
     
# 重新加载配置:
sudo nginx -s reload 

# 部署应用后,重启:
cd /usr/local/Cellar/nginx/1.19.6/bin

# 快速停止
sudo nginx -s stop

# 启动
sudo nginx     

1.3 配置hosts文件:

# 客户端(浏览器)机器的hosts文件添加映射< 127.0.0.1 ocr.aias.me>, 
# 其中127.0.0.1替换成jar包运行的服务器ip地址

127.0.0.1   ocr.aias.me

2. 后端部署

2.1 下载jar包

jar包

2.2 运行程序

java -jar aias-iocr-demo-0.1.0.jar

2.3 样例文件

样例模板图片

# 模板配置文件路径
# <path>/templates
# 模板图片存储路径
# <path>/images

# path 路径信息
#   mac:
#     path: ./file/
#   linux:
#     path: ./file/
#   windows:
#     path: C:\ocr\file\

3. 功能测试

3.1 打开浏览器

输入地址: http://localhost:8080

3.2 标注模板

Screenshot
# 参照锚点设置规则:
1. 建议框选4个及以上(最少3个)参照字段,并尽量分散(向四角方向)
   1). 如果匹配4个及以上的锚点框,则进行透视变换
   2). 如果匹配3个锚点框,则进行仿射变换
   3). 如果匹配的锚点少于三个则直接根据相对坐标计算
2. 参照锚点必须是位置固定不变,文字固定不变
3. 单个参照字段不可跨行,且中间没有大片空白
4. 参照锚点文字内容需唯一,即不会重复出现的文字

注意:
锚点可以不设置,但是要求模板图片和候选待检测图片必须是无背景的图片。
所以需要对图片预处理,检测抠图,转正。图片大小无需一致,且横向和纵向可以适度拉伸(因为根据相对坐标计算,所以横纵放缩不影响,只要能识别文字)。

Screenshot
# 内容识别区设置规则:
1. 识别结果以<key,value>形式展示,字段名需手工设置
2. 字段名需使用有业务意义的字母数字组合,如:name,age, address
3. 字段名不能含有特殊字符及空格

3.3 基于模板文字识别

Screenshot

3.4 通用文本识别

Screenshot

3.5 表格文字识别 / 表格自动检测文字识别

Screenshot

4. 接口文档

http://127.0.0.1:8089/swagger-ui.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,509评论 6 504
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,806评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,875评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,441评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,488评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,365评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,190评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,062评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,500评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,706评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,834评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,559评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,167评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,779评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,912评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,958评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,779评论 2 354

推荐阅读更多精彩内容