ISP: Remosiac

转发  https://deepinout.com/camera-terms/camera-remosaic-intro.html


Quadra CFA(Quadra Color Filter array )功能提高了在弱光条件下的性能和信噪比。此功能在弱光条件下提供明亮和清晰的图像,在正常光照条件下提供高分辨率图像。

Quadra CFA有个16MP的传感器。它们在以下模式下工作:

Binning mode

在弱光条件下启用装箱模式。这种模式可以将四个相邻像素合并为一个像素,因此16MP被转换成4MP。这样可以确保每个像素都有四倍的光照,这使得图像比普通的4MP传感器更明亮、更清晰。

Non-binning mode

非装箱模式在正常光照条件下启用。提供16MP。但,它的像素模式不是标准的拜耳模式(Bayer Pattern)。因此,它需要进行格式转换后才能被摄像机ISP管道处理。

文章目录

1 4MP 及以下分辨率预览与拍照

2 4Cell1感光芯片的应用

4MP 及以下分辨率预览与拍照

Quadra CFA中的16MP传感器不是标准的拜耳模式。相反,它们是伪拜耳模式,其中四个相似的像素在一起。在4mp或更低分辨率的预览和快照中,Quadra CFA传感器配置为Binning模式,其中四个相邻像素合并为一个像素。因此,4MP是标准的拜耳模式,可以直接由相机ISP管道处理。

4MP 及以下分辨率预览与拍照

4Cell1感光芯片的应用

现如今,4cell1芯片兼具了常态的高像素和暗态的高感光低噪声的表现,已成为目前手机摄像头的主力军。

手机越做越紧凑需要模组和芯片尺寸越做越小,在尺寸一定的基础上,高像素和大像素,对于手机摄像头来说,一直是一对矛盾的存在。然而,高像素所带来的高分辨率画质,和大像素带给暗态高感度低噪声的画质,两者都非常重要。

为了两者兼得,4cell1芯片应运而生,也有称之为 “Tetra cell”、“Quad bayer”、“Four cell”等,该芯片基于经典的Bayer阵列,将每一种颜色以4个pixel组合排列,成功让一款摄像头能在高像素和大像素间自由切换。

4Cell1感光芯片的应用

4Cell1感光芯片的应用

四个小像素点合成一个大像素的操作,很好理解,那么还原成高像素的Remosaic操作又是怎么实现的呢?

Remosaic技术,魔术般还原高分辨率图像。从原始的4cell1像素排布,还原成普通拜耳(Bayer)结构的过程,称之为Remosaic。

Remosaic技术

Remosaic通常分为软件和硬件两种方式。软件Remosaic,通过像素互换,或该像素与周围相关像素的联系,根据距离远近计算出一定的权重比例,作为该像素的信号值,通常软件Remosaic算法放在平台端集成。

目前,也有部分芯片,通过独立的ISP信号处理变换像素结构,每个感光单元又都能独立显示并且输出数据,可以拍摄出正常硬件直出的Bayer排布,无需额外软件插值。

当然二者从速度上来看相差甚远,硬件比软件的Remosaic在处理速度上会快很多,硬件Remosaic可以支持Full size Bayer预览,然而手机端是否要用full size去预览还需要综合考虑功耗等其他因素;软件Remosaic处理需要花费更长的时间,目前仅作为Full Size拍照时候使用。

Remosaic技术

Remosaic后的高像素应用,解析力有了很大的提升

你以为只需要四合一芯片&Remosaic就可以“文武双全”了么?

Remosaic技术

细心的朋友可以发现左图的实拍图里,有许多锯齿状格子等伪色,主要原因是由于芯片本身硬件感光及Remosaic所造成的,为优化这种现象,“Crosstalk校准”闪亮登场。

Crosstalk校准,降低伪色干扰

4cell1的芯片像素,由于所处位置的不同,每个像素点的crosstalk不同导致感光能力有一定差别,通常需要引入Crosstalk校准来消除这种差异。

Remosaic技术

Crosstalk校准工具,通常将全图分成多个ROI方块,计算各像素通道的能量并确定其补偿数据,芯片再使用这些校准数据让原本不均匀状态的能量分布变得更为平衡。

Remosaic技术

比如一场十年后的同学聚会席间要开启一瓶好酒,但是倒酒时又需要将这瓶好酒均匀分给每一朋友,这个时候我们可以通过将这杯酒水互补的方法,即酒多的匀倒给酒少的,这样大伙儿就都能享受到一样的好酒。

Remosaic技术

crosstalk前后的能量大小变化

Crosstalk校准补偿在实际图像上的反映主要是去除由于信号差别造成的格子,锯齿状等的色块干扰,这种干扰现象通常在拍摄单一色块的画面会表现得更为明显。比如下图分别是拍摄蓝天,拍摄黄色物体,Crosstalk校准前后的效果对比,校准前的色块干扰情况会更加明显。

4cell1芯片还会涉及到PD补偿,坏点补偿等其他的内容,而整个流程,通常需要先补偿PD点,再做Crosstalk校准,然后再Remosaic成为正常的Bayer去应用。针对软件的Remosaic,这其中所有的步骤,通常都封装在芯片厂商提供的一个算法库里面,手机端调用该算法库,去实现4cell1芯片,兼具常态时候的高分辨率和暗态时候的高感光度,然后你就可以美美地拍照了。

4cell1的应用并不止于此,在高动态方面也有相关应用。

4cell1特有的3-HDR,给你不一样的高动态体验。

HDR的实现方式有很多种,3-HDR’是4cell芯片特有的HDR,给每种颜色group配置高中低三种曝光,以实现不同的亮度,最后合成HDR图片。

Remosaic技术

不同于普通HDR技术,3-HDR实时分级曝光技术实则就是让组成1个大像素的4个基础像素能够实时采集不同的曝光信息,并且同步将这些信息一次处理实现硬件实时分级曝光,不仅前面主体和背景都清晰,而且还能做到预览效果与实际成像完全一致,真正做到所见即所得。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,561评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,218评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,162评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,470评论 1 283
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,550评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,806评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,951评论 3 407
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,712评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,166评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,510评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,643评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,306评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,930评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,745评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,983评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,351评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,509评论 2 348

推荐阅读更多精彩内容