聊聊手机的摄像头和算法优化

多段定焦 和 算法平滑变焦

  现在市面上大多数的手机摄像头都是定焦镜头。一般的做法是长焦镜头+广角镜头(24mm-28mm)。这其实算不得真正的变焦,只能说基于多个定焦镜头,使用软件实现平滑变焦。而平滑那部分,一般表现不如真实光学变焦好,原因下文详述。

以华为p30 pro 为例,HUAWEI P30 Pro 的配置

image.png

后置徕卡[1] 三摄像头:

  • 主摄像头:4000万像素1/1.7英寸Quad RYYB图像传感器;f/1.6镜头,光学影像防抖(OIS),27mm等效焦距
  • 远摄镜头:800万像素传感器,f/3.4折叠式镜头,光学影像防抖(OIS),125mm等效焦距
  • 超广角镜头:2000万像素,f/2.2光圈,16mm等效焦距
  • 相位检测(PDAF)/飞行时间(ToF)自动对焦

华为p30 在不同的倍数下,使用不同的相机


image.png
image.png
  • 1X,单独使用主摄像头
  • 2X,单独主摄
  • 3X,主摄+远摄
  • 5X,单独远摄

  华为p30 pro在3X 模式下,采用 1X 镜头和5X镜头。1X镜头的照片放大为3X,很模糊;5X镜头的相片拍摄的内容缩小为3X,非常清晰,但是不够大。这时候软件算法合并这两张图片,中间部分属于画面主体,是由5X拍摄的,保证了主体的清晰。边缘部分很模糊但不至于没有图像,细节由算法补齐

image.png

  对于10X,50X,单独5X拍摄,直接放大(和我们拉图放大一样),细节由算法插值,最终生成结果图。这里的问题是,算法其实也是不知道真正的细节是什么的,靠的是推导,平滑。没有足够的数据,再强的算法也无法以假乱真,所以这种图片边缘只是看起来高清,实际上 细节表现非常差

  综上,如果手头的手机是这种变焦手机,为了拍出优质的照片,必须先了解每个镜头的参数。尽量不要被混合变焦。比如p30 pro, 尽量1X,2X,5X,不要3X。

变焦范围和变焦倍数

  首先,要明确变焦的对比方法是等效焦距。因为感光元件的大小不一样,实际上得到的图片大小是不一样的。等效焦距就是转化为135相机上24X36mm同样成像视角所对应的镜头焦距。

等效焦距=等效系数*镜头焦距

  华为官网给出的数据就是等效焦距,和提测数据也一致。再以Oppo Reno 为例,官网bolg给出的镜头信息:

  • 超广角摄像头:15.9mm等效焦距,f/2.2 光圈,索尼IMX319
  • 超清主摄: 28 mm 等效焦距, f/1.7 光圈,1/2.0尺寸的索尼 IMX586
  • 长焦摄像头:159mm等效焦距,f/3.0 光圈,1/3.44 尺寸传感器
image.png

  我们说的变焦范围,华为p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm

  变焦多少倍,应该是长焦焦距/主摄焦距,华为是 4.63倍变焦。oppo是5.68倍变焦。哪有按照微距焦距来算的,都是商业噱头。

防抖

EIS (Electronic anti shake)。电子防抖主要指在数码照相机上采用强制提高CCD感光参数同时加快快门并针对CCD上取得的图像进行分析,然后利用边缘图像进行补偿的防抖,电子防抖实际上是一种通过降低画质补偿抖动的技术,此技术试图在画质和画面抖动之间取得一个平衡点。与光学防抖比较,此技术成本要低很多(实际上只需要对普通数码相机的内部软体作些调整就可做到),效果也要差

image.png

OIS(Optical Image Stabilization 光学防抖)是利用内置的镜片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)来对相机水平或上下的动作来逆向修正,可以用于照相及摄影的防手震上。OIS 优点是可靠性较高且不会牺牲影像的解析度,效果比EIS好,但缺点成本较贵、镜头机身没办法做很薄且有边缘解析力下降的问题。

image.png

AIS:算法防抖,就是算法自动补齐模糊区域。

测距成像

3D成像三大主流技术

双目(StereoSystem):

  双目成像的基础原理是三角测距算法,类似模拟人眼观看3D电影(左右眼看到的场景略有差异),从而带来具有空间感的立体深度信息。

结构光(StructureLight)

  结构光是通过红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集反射的结构光图案,根据三角测量原理进行深度信息的计算

image.png
  • 图像深度准确率 较TOF高
  • 低光环境表现良好,取决于光源,强光表现差
  • 识别距离短,受光斑图案影响
  • 容易受光照影响
  • 响应时间慢,处理复杂,耗费算力,对处理器要求高

TOF(Time Of Flight 飞行时间)

image.png

  飞行时间测距法(Time Of Flight)。通过红外发射器发射调制过的光脉冲,遇到物体反射后,用接收器接收反射回来的光脉冲,并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高,光速那么快,对于时间的测量有极高的精度要求。

  • 基于红外线激光,低光表现良好,高光表现较结构光好
  • 范围最大可以达到5米,远超结构光
  • 平面分辨率低
  • 图像深度准确率低
  • 分辨率低

应用:

  • 体感游戏
  • 拍照3d建模

算法优化等于作弊吗

  明确一点,人眼其实也是基于算法优化的。来看一下人眼的结构和一些值得吐槽的设计。

人的视网膜贴反了

我们的视网膜大致由3层细胞组成,分别为感光细胞、双极细胞和节细胞。

感光细胞可将光信号转化为电信号,双极细胞则负责分类处理这些电信号。最后节细胞会把这些分类好的电信号传输至大脑,形成最终影像。

image.png

这里感光细胞就相当于 感官原件的受光面,节细胞就相当于数据线,那么问题来了,电线在受光面之上,挡住了光。

为了给节细胞和双极细胞供氧,视网膜表面还布有一层血管网。这些血管除了扰乱入射光线外,任何出血或淤血都会挡住光路,极其影响视力。这便是我们常说的眼底出血。

图:1为感光细胞,2为双极细胞,3为节细胞

图:1为感光细胞,2为双极细胞,3为节细胞

当光线射入瞳孔时,要先经过节细胞和双核细胞,最后才能到达感光细胞。那么这些“”在感光结构前的细胞,就会反射或折射光线,使感光细胞成像的质量下降。这就如同在照相机的胶片前面,外贴了一张半透明薄膜。

模糊是应该的,可我们看到的画面并不模糊,这是基于大脑的最强图片优化算法自动脑补的。

盲点

由于节细胞位于光线进入的方向。所以它发出的神经纤维必然会汇聚成一束,反穿眼球再绕回大脑。而在此处,感光细胞是没有落脚之地的,被称为视神经乳头。

image.png

所以这才导致了我们视网膜中有一块区域无法感光,从而形成盲点

所幸我们由一双眼睛而不是一只,两个眼球看到的画面会在大脑中互补。大脑本身就有一套经过千万年进化而来的图像重叠算法,这就是算法优化嘛。

tips:人眼存在盲点。怎么测试?把下面的图往左横过来看,用手遮住自己的左眼,视线集中看圆圈,你会发现 加号 在某个位置走着走着就消失了。

盲点图

盲点优化

我们在嵌满的盲点测试中,如果闭上左眼后直接盯着+号,是不会看到消失的。

主要是因为,对于盲点,人类还进化出了相应的优化措施——黄斑。

黄斑

黄斑是视网膜上的特殊区域,当我们凝视某一点时,它的图像就正好聚焦在黄斑上。

而在黄斑处,双极细胞、节细胞连同它们发出的神经纤维,以及 视网膜表面的血管网和神经纤维等,都会向四周避开

所以当我们瞄准某一区域时,其分辨率和成像能力能达到“高清”级别。而我们平时检查视力,查的便是黄斑区的中心视力

鹰和人一样都“贴反”了视网膜,但通过黄斑和晶状体,它们看在几百米甚至上千米处的猎物都毫无压力。这说明了“反贴”视网膜,通过“优化”后并不妨碍高度清晰的图片形成。

这个属于不改变硬件架构的情况下,做硬件优化

综上所述,我们的大脑本身自带了最强的算法优化,我们之所见,经过脑补才得到所感知的画面。所以,算法并非不好,只是说算法不够好,结果不够接近大脑算法的执行结果。比如拍个月亮变成PS,那就过分了。

参考:


  1. 徕卡:德国公司,诞生于1913年,昂贵的价格是徕卡的品牌标志,同时伴随着的更是一种精湛的制作,一种深厚底蕴的文化

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 207,248评论 6 481
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,681评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,443评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,475评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,458评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,185评论 1 284
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,451评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,112评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,609评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,083评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,163评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,803评论 4 323
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,357评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,357评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,590评论 1 261
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,636评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,925评论 2 344