关于 Camera 开始 Tuning 时的一些注意事项

1、问题背景:

最近有调试一个体感游戏机上带 Camera 的项目,原定搭配 ov13855 这颗 sensor, 但由于各种各样的问题,导致做了很多无用功,且各种延期。

本文主要总结下此次项目遇到的问题,及产品开始 tuning 时的一些注意事项。

2、问题分析:

Sensor 点亮出图后,效果如下图1 所示,图像偏红且四周还存在网格纹,抓取的 raw 图上也存在网格纹,

另外 raw 图上也能看到有明显的pd点(如图 2)。所以总结一下就是存在3个问题:图像偏红、画面四周有网格纹、有pd点。

图1


图2


a、图像偏红问题

最直观的问题就是图像偏红,一开始分析可能是 black level 扣的少了,因为他偏红的范围很大,在某些场景下感觉整体都是红的。尝试校了 black level 后没有解决。

后面查看 raw 图,看到 raw 上又有 pd点、网格纹,所以怀疑是这种带颜色的pd点,使得后续 ISP 处理时,导致的偏红。

和 ov 沟通能否 sensor 端关闭 pd 点,因为目前我们这个平台不支持 pdaf,没办法做 pd 点补偿。但给出的结论是sensor 打开 pd correction 后,中心基本可以补偿掉 pd 点,但四周无法完全抹干净。

客户那边有 plan B, 接着就换用 ov13b10了,这款 sensor 虽然也支持 pdaf,但去年有在我们另一款平台上调试过,没有这种偏红的问题,且 raw 上也没看到有明显的 pd 点。

重新拿到 ov13b10 的模组点亮后,依然看到有和 ov13855 一样的现象(图像偏红、网格纹、pd点),但旧平台上点同样的 sensor 是好的,就有点怀疑是我们新平台的硬件问题了,

这就问题大了(因为新平台是8月份刚流片回来,还没正式调过一款 sensor),接着又将之前点亮的 ov13b10 的旧模组在新平台上验证了下,出图是正常的。那这就是模组的问题了。

反馈给到模组厂,得出的结论是镜头和 sensor 的 CRA 不匹配导致的,后面了解到 ov13b10 是一款商用级的 sensor (也就是用在手机用的比较多),但现在是搭配的一款数码多媒体的镜头(如图3),

所以 CRA 差的很大,会导致有明显的 color shading,关于CRA的具体介绍,可查看这篇文章:什么是 CRA ?

图3


模组厂给到客户的建议如下:

1)如果坚持用商用级的 sensor 那就只能用商用级的镜头,也就是手机上用的那种镜头;

2)牺牲 40% 左右的清晰度,匹配 CRA 接近的大镜头;

3)换数码多媒体的 sensor;

了解了下客户那边的需求,一开始不用商用级的镜头,一方面是因为产品设计不适用这种小尺寸的镜头,另一方面可能想着用 13M 的 sensor, 会觉得比较有竞争力些。 

b、图像四周有网格纹

网格纹应该是 Green Imbalance 相关,由于CRA不匹配导致的 Gr,Gb 接收到的信号不相等,出现的迷宫格。

c、pd 点

pd 点就是硬件上在芯片中通过有规律的插入分别遮挡住一半感光区域的pixel,记为 Left/Right PD Pixel。

模拟人双眼的原理来计算图像相位差,来推算移动到清晰位置的马达运行步长,一步到位使图像对焦清晰的过程。

软件上,将图像中的Left/Right PD pixel 分别提取出来,利用算法计算出图像PD值。

图像PD值是描述图像模糊程度的一个变量。图像越清晰,对应的PD值越接近0,理论上0代表图像是最清晰状态。

pdaf sensor 又分为 type-1/2/3 三种类型,type-1 是 PD Bad Correction 和 phase calculation 都在 sensor 里、

type-2 是 PD-PBC 和 PD pixel separation 在 sensor 里、

type-3 除了嵌入了PD 像素点外,没有其他功能;

type-2/3 的 pdaf sensor 没包含的功能,都需要 ISP 这边来实现,但目前我们平台是不支持 pdaf 的,所以没办法去做 PD 的补偿,一方面如果sensor 端 pd 去不干净的话,

图像就会有 pd 点存在,另一方面 PD 点其实就是坏点,他造成了像素损失,会影响清晰度。所以立项时要和客户谈清楚,直接换用不支持 pdaf 的 sensor 就好了。

3、问题小结:

首先此类问题在项目立项时就可以避免的,拿到 sensor 和 lens 的规格书,查看下镜头和 sensor 的 CRA 是否匹配、是否支持PDAF。

这是项目流程的问题,要让 PM 那边有这意识(这个项目有点坑,前期谈立项,bringup sensor 的时候,我们压根就没参与)。

另外模组厂也挺坑的,我们也完全没想到他们那边那么不专业,明知镜头不匹配也没事先提出来,所以这个项目是你负责 Tuning 的话,前期立项时就要参与进来,大致要做到如下几点:

1)了解 Camera 的应用场景如何。

车载、安防、消费类的相机,不同应用场景的相机对图像质量的要求是不一样的,要明白自己的 tuning 要点是什么,具体可查看这篇文章:相机图像质量概述

2)向客户了解他们对图像效果验收的标准是什么?一般有要求的公司会有图像质量测试的主客观标准。

3)拿到 sensor 和 lens 的规格书,查看相机的性能是否能满足客户的要求(比如sensor和镜头的分辨率、sensor 的信噪比、动态范围、是否支持pdaf、CRA是否匹配等等),

有问题要及时提出,否则因为本身硬件的局限性导致达不到客户要求,这就很麻烦了。

4)另外如上对镜头、sensor 的选型也要注意,客户那边的使用场景是会议,体感游戏,用 13M 的 sensor 有必要嘛?拍照、预览的尺寸如何,是否要裁成16:9 ?

商用级的镜头和多媒体的镜头,由于镜头的材质、sensor 的 pixel size 不同,都会使效果有所差异。 

参考公众号:" 香根草基地 " 文章

技术科普|3分钟解答什么是PDAF

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,546评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,224评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,911评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,737评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,753评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,598评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,338评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,249评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,696评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,888评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,013评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,731评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,348评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,929评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,048评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,203评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,960评论 2 355

推荐阅读更多精彩内容