多段定焦 和 算法平滑变焦
现在市面上大多数的手机摄像头都是定焦镜头。一般的做法是长焦镜头+广角镜头(24mm-28mm)。这其实算不得真正的变焦,只能说基于多个定焦
镜头,使用软件实现平滑变焦
。而平滑那部分,一般表现不如真实光学变焦好,原因下文详述。
以华为p30 pro 为例,HUAWEI P30 Pro 的配置:
后置徕卡[1] 三摄像头:
- 主摄像头:
4000
万像素1/1.7
英寸Quad RYYB图像传感器;f/1.6
镜头,光学影像防抖(OIS),27mm
等效焦距 - 远摄镜头:
800
万像素传感器,f/3.4
折叠式镜头,光学影像防抖(OIS),125mm
等效焦距 - 超广角镜头:2000万像素,
f/2.2
光圈,16mm
等效焦距 - 相位检测(PDAF)/飞行时间(ToF)自动对焦
华为p30 在不同的倍数下,使用不同的相机
- 1X,单独使用主摄像头
- 2X,单独主摄
- 3X,主摄+远摄
- 5X,单独远摄
华为p30 pro在3X 模式下,采用 1X 镜头和5X镜头。1X镜头的照片放大为3X,很模糊;5X镜头的相片拍摄的内容缩小为3X,非常清晰,但是不够大。这时候软件算法
会合并
这两张图片,中间部分属于画面主体
,是由5X拍摄的,保证了主体的清晰。边缘部分很模糊
但不至于没有图像,细节由算法补齐
。
对于10X,50X,单独5X拍摄,直接放大(和我们拉图放大一样),细节由算法插值,最终生成结果图。这里的问题是,算法其实也是不知道真正的细节是什么的,靠的是推导,平滑。没有足够的数据,再强的算法也无法以假乱真,所以这种图片边缘只是看起来高清,实际上 细节表现非常差。
综上,如果手头的手机是这种变焦手机,为了拍出优质的照片,必须先了解每个镜头的参数。尽量不要被混合变焦。比如p30 pro, 尽量1X,2X,5X,不要3X。
变焦范围和变焦倍数
首先,要明确变焦的对比方法是等效焦距
。因为感光元件的大小
不一样,实际上得到的图片大小是不一样的。等效焦距就是转化为135相机上
的24X36mm
同样成像视角所对应的镜头焦距。
等效焦距=等效系数*镜头焦距
华为官网给出的数据就是等效焦距,和提测数据也一致。再以Oppo Reno 为例,官网bolg给出的镜头信息:
- 超广角摄像头:15.9mm等效焦距,f/2.2 光圈,索尼IMX319
- 超清主摄: 28 mm 等效焦距, f/1.7 光圈,1/2.0尺寸的索尼 IMX586
- 长焦摄像头:159mm等效焦距,f/3.0 光圈,1/3.44 尺寸传感器
我们说的变焦范围,华为p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm
变焦多少倍,应该是长焦焦距/主摄焦距,华为是 4.63倍变焦。oppo是5.68倍变焦。哪有按照微距焦距来算的,都是商业噱头。
防抖
EIS (Electronic anti shake)。电子防抖主要指在数码照相机
上采用强制提高CCD
感光参数同时加快快门并针对CCD上取得的图像进行分析,然后利用边缘图像进行补偿的防抖,电子防抖实际上是一种通过降低画质
来补偿抖动
的技术,此技术试图在画质和画面抖动之间取得一个平衡点。与光学防抖比较,此技术成本要低
很多(实际上只需要对普通数码相机的内部软体作些调整就可做到),效果也要差
OIS(Optical Image Stabilization 光学防抖)是利用内置的镜片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)来对相机水平或上下的动作来逆向修正,可以用于照相及摄影的防手震上。OIS 优点是可靠性较高且不会牺牲影像的解析度,效果比EIS
好,但缺点成本较贵
、镜头机身没办法做很薄且有边缘解析力下降的问题。
AIS:算法防抖,就是算法自动补齐模糊区域。
测距成像
3D成像三大主流技术
双目(StereoSystem):
双目成像的基础原理是三角测距算法,类似模拟人眼观看3D电影(左右眼看到的场景略有差异),从而带来具有空间感的立体深度信息。
结构光(StructureLight)
结构光是通过红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集反射的结构光图案,根据三角测量原理进行深度信息的计算
- 图像深度准确率 较TOF高
- 低光环境表现良好,取决于光源,强光表现差
- 识别距离短,受光斑图案影响
- 容易受光照影响
- 响应时间慢,处理复杂,耗费算力,对处理器要求高
TOF(Time Of Flight 飞行时间)
飞行时间测距法(Time Of Flight)。通过红外发射器发射调制过的光脉冲
,遇到物体反射后,用接收器接收反射回来的光脉冲,并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高,光速那么快,对于时间的测量有极高的精度要求。
- 基于红外线激光,低光表现良好,高光表现较结构光好
- 范围最大可以达到5米,远超结构光
- 平面分辨率低
- 图像深度准确率低
- 分辨率低
应用:
- 体感游戏
- 拍照3d建模
算法优化等于作弊吗
明确一点,人眼其实也是基于算法优化
的。来看一下人眼的结构和一些值得吐槽的设计。
人的视网膜贴反了
我们的视网膜大致由3层细胞组成,分别为感光细胞、双极细胞和节细胞。
感光细胞可将光信号转化为电信号,双极细胞则负责分类处理这些电信号。最后节细胞会把这些分类好的电信号传输至大脑,形成最终影像。
这里感光细胞就相当于 感官原件的受光面,节细胞就相当于数据线,那么问题来了,电线在受光面之上,挡住了光。
为了给节细胞和双极细胞供氧,视网膜表面还布有一层血管网。这些血管除了扰乱入射光线外,任何出血或淤血都会挡住光路,极其影响视力。这便是我们常说的眼底出血。
图:1为感光细胞,2为双极细胞,3为节细胞
当光线射入瞳孔时,要先经过
节细胞和双核细胞,最后才能到达感光细胞。那么这些“挡
”在感光结构前的细胞,就会反射或折射光线,使感光细胞成像的质量下降。这就如同在照相机的胶片前面,外贴了一张半透明薄膜。
模糊是应该的,可我们看到的画面并不模糊,这是基于大脑的最强图片优化算法自动脑补
的。
盲点
由于节细胞位于光线进入的方向。所以它发出的神经纤维必然会汇聚成一束,反穿眼球再绕回大脑。而在此处,感光细胞是没有落脚之地的,被称为视神经乳头。
所以这才导致了我们视网膜中有一块区域无法感光,从而形成盲点
。
所幸我们由一双眼睛而不是一只,两个眼球看到的画面会在大脑中互补。大脑本身就有一套经过千万年进化而来的图像重叠算法,这就是算法优化嘛。
tips:人眼存在盲点。怎么测试?把下面的图往左横过来看,用手遮住自己的左眼,视线集中看圆圈,你会发现 加号 在某个位置走着走着就消失了。
盲点优化
我们在嵌满的盲点测试中,如果闭上左眼后直接盯着+号,是不会看到消失的。
主要是因为,对于盲点,人类还进化出了相应的优化措施——黄斑。
黄斑
是视网膜上的特殊区域,当我们凝视
某一点时,它的图像就正好聚焦在黄斑上。
而在黄斑处,双极细胞、节细胞连同它们发出的神经纤维,以及 视网膜表面的血管网和神经纤维等,都会向四周避开。
所以当我们瞄准某一区域时,其分辨率和成像能力能达到“高清”级别。而我们平时检查视力,查的便是黄斑区的中心视力
。
鹰和人一样都“贴反”了视网膜,但通过黄斑和晶状体,它们看在几百米甚至上千米处的猎物都毫无压力。这说明了“反贴”视网膜,通过“优化”后并不妨碍高度清晰的图片形成。
这个属于不改变硬件架构的情况下,做硬件优化
综上所述,我们的大脑本身自带了最强的算法优化,我们之所见,经过脑补
才得到所感知的画面。所以,算法并非不好,只是说算法不够好,结果不够接近大脑算法的执行结果。比如拍个月亮变成PS,那就过分了。
参考:
华为PM 熊军民·科普:3D TOF是手机未来发展方向之一
-
徕卡:德国公司,诞生于1913年,
昂贵
的价格是徕卡的品牌标志,同时伴随着的更是一种精湛
的制作,一种深厚底蕴
的文化 ↩