3D视觉新时代

随着2017年苹果iPhoneX手机的发布,移动端3D人脸识别技术一夜成名,它的登场开启了智能交互的新时代。相比于触控屏手指无法离开屏幕、语音识别应用场景存在的局限性,基于3D 视觉的手势/人脸识别进一步解放双手,给用户带来了全新的智能人机交互体验。

图片发自简书App

3D识别被广泛看好,前景广阔。无论是消费级市场的游戏、娱乐、交互,还是商业领域的医疗、工业、安防、军事等,都需要丰富的手部动作来参与,因此手势识别具有非常广泛的应用场景。而人脸识别在移动端身份认证、支付交易、权限登录、识别用户表情或精神状态、自拍快速对焦、自拍美颜等方面具有无限潜力。

可以预见一旦3D视觉进入大规模普及,将对现有的消费电子产品产生颠覆性的影响。因此,包括苹果、谷歌、微软、英特尔、索尼、三星等科技巨头,均在深度相机、体感交互、动作捕捉等领域展开了深度的布局,或并购,或专门成立研发团队,快速获得先进技术,实现技术和专利的储备。面对这一风口,谁能抢占先机,谁就能分得一块蛋糕。因此,国内产业链纷纷布局,安卓阵营紧跟iPhone X的步伐。


今年5月底,小米率先推出了首款3D结构光的安卓智能手机——小米8透明探索版,采用了以色列的3D编码结构光技术厂商Mantis Vision的方案。紧接着在6月,OPPO也推出了支持3D人脸识别的新一代旗舰机——Find X,这款手机采用的是类似iPhone X的散斑结构光技术,由国内知名的3D感测技术厂商奥比中光提供技术,丘钛提供模组。而华为发布的Mate 20 Pro前置的3D结构光模块,更高精度地实现了对于人脸部五官细节的重绘,使得美颜效果更具有立体效果,而且很大可能手机会支持刷脸支付。同时Mate 20 Pro还可以利用手机扫描现实中的物体或人物,然后进行3D建模。预计明年上半年,更多搭载有3D人脸识别的安卓手机将陆续亮相。

我有幸参与到3D成像技术的研发,亲眼见证一个团队白手起家。一年之内,从人才招募、设备购买,到产线建立,从概念到生产,亲眼见识了每一道工艺的真实面目。从长三角到珠三角,多地出差,当面交流,第一现场了解了相关公司的加工能力。

原来一颗小小的3D摄像头,背后聚集了如此复杂的工艺技术,不仅让我这个混迹职场八年的工程师大开眼界,就连我那些70后的资深工程师们,也都惊呼这一年的见识远胜于之前多年的工作经验。这是与君处一年,胜读十年书啊。

这一路,从行业到产品,从产业链到工艺,从理论到实践,我发现只要留心深挖,每一处都是宝藏。于是我提笔整理,从点到面,将理论剖析和实践经验所获所感一一记录下来,倾囊分享。

3D成像的三种主流设计方案

说到3D成像技术,有必要先了解它的几种实现方案。根据原理和硬件实现方式的不同,行业内所采用的3D机器视觉主要有三种:结构光、TOF 时间光、双目立体成像。


图片发自简书App


三种主流的方案中,比较成熟的是结构光和TOF时间光。其中结构光方案最为成熟,已经被成功应用于游戏体感交互、工业机器视觉检测、智能手机等领域,但是极易受到外界光的干扰、响应速度较慢、识别精度较低;TOF 时间光方案被广泛应用于医疗检测、机器人视觉等领域,在消费电子方面,受到谷歌、意法半导体、德州仪器、英飞凌等公司的支持;双目立体成像方案抗环境光干扰强,分辨率高,也是移动端可选方案之一,但是技术较新不够成熟,目前在机器人、自动驾驶领域应用较多。

1、结构光(Structured Light):首先红外激光发射器(IR LD)发射出近红外光(IR Light)特定图案(如激光散斑等),经过物体(如人手或人脸等)的反射之后,形变之后的图案被红外图像传感器(IR CIS)所接收,经过算法计算出人手/人脸所处的位置(Z 轴);同时,可见光图像传感器采集二维平面(X与 Y 轴)的人手/人脸信息(Vis Light);两颗图像传感器的信息汇总至专用的图像处理芯片,从而得到三维数据,实现空间定位。

图片发自简书App

2、TOF(Time Of Flight):通过持续的给被测物体发送光信号,然后传感器端接收到回传的光信号,经过计算发射和接收光信号的往返飞行时间来得到被测物体距离的技术。

图片发自简书App

3、双目测距(Stereo System):利用双摄像头拍摄物体,再通过三角形原理计算物体距离。

TOF与结构光的区别在于对红外光的使用方式不同,TOF通过计算红外光发出光线与返回光线之间的向位移变化换算为位置信息,而结构光依靠向物体投射一系列光线图案组合,然后通过检测光线的边缘来测量距离,二者的硬件结构是类似的。二者比较明显的区别在于,在红外光发射端,TOF基本不需要使用光学棱镜,而结构光由于需要形成特定的光学图案,所以需要添加DOE(衍射光栅)和Lens(光学棱镜)。

3D成像不同方案优缺点对比

三种方案的优缺点,下面这张表格让我们一目了然:

图片发自简书App

3D 视觉三种方案各有优缺点:

双目立体成像方案软件算法复杂,技术还不成熟。

结构光方案技术成熟,功耗低,平面信息分辨率高,但易受光照影响,识别距离近。

TOF方案抗干扰性好,识别距离远,但是平面分辨率低,功耗较大。

3D成像硬件构成

无论是结构光方案、TOF方案还是双目立体成像方案,主要的硬件包括四部分:红外光发射器(IR LD)、红外光摄像头(IR CIS)、可见光摄像头(Vis CIS)、图像处理芯片,红外摄像头需要特制的窄带滤色片,另外结构光方案还需要在发射端添加光学棱镜与光栅,双目立体像多一颗IR CIS。

图片发自简书App

每一部分由哪些构成?功能是啥?又涉及哪些工艺和相关供应商呢?问得好,我们下期聊聊。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容

  • 坚持和不强求 昨晚刷微博看到一段三毛写的话:上天不给我的,无论我十指怎样紧扣,仍然走漏;给我的,无论过去我怎么失手...
    ZQ郑阅读 425评论 0 2
  • 1.当你准备要睡觉的前一个小时,告诉自己只要踏入卧室,我就把手机给留在客厅。 2,晚上不要在手机上看小说,电视...
    玲子网络科技阅读 953评论 0 0
  • 又到了轰轰烈烈的十一了,大家积攒了大半年的能量瞬间爆发了,在各个景区,人头窜动的,就像一场末日的狂欢,人人就像行走...
    一直在路上的精灵阅读 205评论 0 1
  • 依稀记得 门前那一片翠绿的竹林 随风便生出熙熙碎碎的声响 儿时的那个村庄 如今只好像在梦中出现过 一片茫然 然后不...
    清晨六点半的诗阅读 394评论 0 0
  • 文:十七 字数:956 01 荔水广场人来人往熙熙攘攘。街头灯火绚烂,似乎永远为每一个人照亮。 雪莉走在这秋夜的街...
    十七Regina阅读 399评论 0 1