3.阅读笔记:A Noise-Aware Filter for Real-Time Depth Upsampling

Abstact:

新一代的有源3D距离传感器,例如飞行时间相机,能够以视频帧速率记录全帧深度图。不幸的是,捕获的数据通常被噪声严重污染,并且传感器仅具有相当有限的图像分辨率。因此,我们通过用来自高分辨率摄像机的数据上采样范围信息来呈现用于实时增强范围数据的质量和增加空间分辨率的流水线。
我们的算法是一种自适应多侧向上采样滤波器,其考虑实时深度数据的固有噪声性质。因此,我们可以大大提高重建质量,提高数据的分辨率到视频传感器的分辨率,并防止不想要的人工产物像纹理复制成几何。我们的技术已经被设计以实现深度图质量的改进,同时保持实时应用的高计算效率。通过在GPU上实现我们的方法,创建具有视频相机分辨率的实时3D相机是可行的

NAFD

A New Filter for Noise Aware Depth Upsampling

为了满足深度超分辨率和对噪声实时3D传感器(如飞行时间相机)的去噪的特定要求,我们提出了一种用于深度上采样(NAFDU)的新的多横向噪声过滤器。 我们的目标是在数据匹配我们的假设的那些区域中保持双向上采样的有益特性,并且防止在那些标准双向上采样可能导致错误纹理复制的区域中的伪像。 NAFDU过滤器采用以下形式:

f,g和h都是高斯函数,α(ΔΩ)是混合函数。
f就是JBF,通过下采样的低分辨图像的高斯函数(color图像以(i,j)为中心与整数倍的采样间隔的像素值的差)
g是BF这个是以距离为高斯函数(对low resolution image)
h 是将low resolution imresize 变成high resolution image ,再将low resolution 中的window中的像素值与high resolution image 中的(i,j)中心求差,以上描述是h中的变量的求法,再将差值代入高斯函数,就得到了h函数。

权重

ΔΩ是最大和最小灰度值之间的差值
ε控制过渡区域的宽度
τ控制在什么最小 - 最大差值处的混合间隔应该居中。

上面的内容有时候用以下的形式:
alpha = 1- tau/(var(depth_sec(:))+tau)

其实噪声感知就是通过这个权重来进行体现

DataSet

http://vision.middlebury.edu/stereo/data/

Reference:

[1]https://people.mpi-inf.mpg.de/~theobalt/eccv08.pdf

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 226,913评论 6 527
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 97,710评论 3 412
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 174,561评论 0 373
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 62,278评论 1 306
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 71,080评论 6 405
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 54,604评论 1 320
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 42,698评论 3 434
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 41,847评论 0 285
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 48,361评论 1 329
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 40,330评论 3 353
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 42,487评论 1 365
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 38,044评论 5 355
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 43,738评论 3 342
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 34,134评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 35,378评论 1 281
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 51,053评论 3 385
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 47,471评论 2 370

推荐阅读更多精彩内容