图像融合可分为信号级、像素级、特征级和决策级的融合。其中应用最多的是基于像素级别的融合,这也是最基本的一种融合方式。可参见www.cnblogs.com/silence-hust/p/4192363.html
针对融合图像的不同,可分为:不同成像设备下同场景不同图像的融合;同设备不同焦点的图像融合。
常用的图像融合方法:
空间域融合方法中常见的融合规则:对应像素取最大值/最小值/平均值/加权平均/逻辑运算等。
基于金字塔的图像融合的基本思路:
step1:对待融合的图像分别建立高斯及拉普拉斯金字塔或者其他的金字塔结构;
step2:将对应层的金字塔图像采用融合算法进行融合,形成融合后的金字塔结构;
step3:对融合后的金字塔进行逆变换,即对图像进行重构,于此便完成了图像的融合操作。
注:在建立金字塔时,可根据需要建立相应的金字塔结构,比如梯度金字塔,DoG金字塔等。
像素级图像融合:像素灰度值加权平均图像融合算法;基于多尺度分解的图像融合算法包括:基于拉普拉斯金字塔变换的图像融合算法,基于对比度金字塔变换的图像融合算法,基于梯度金字塔变换的图像融合算法,基于离散小波变换的图像融合算法,基于离散小波框架变换的图像融合算法,基于方向金字塔框架变换或方向可调的不可分离小波框架变换的图像融合算法。
特征级图像融合:基于梯度特征的多尺度图像融合算法,基于纹理特征的多尺度图像融合算法,基于梯度和纹理特征的多尺度图像融合算法,基于模糊特征区域的多尺度图像融合算法,基于EM算法的图像融合算法
决策级图像融合:基于证据理论法,模糊积分法,表决发,加权平均法,贝叶斯推理,求和规则,极大值规则,极小值规则等融合算法。
基于图像金字塔的实现过程
在完成两幅图像的拼接后,为了能缓解两幅图像缝合处出现的明显过度界线,在两幅图的叠加处进行图像融合,以缓解这种明显的过度,这类似于Photoshop中的羽化效果。下面来具体看看是如何实现操作的吧~~
在这儿参考了一篇博文blog.csdn.net/u011100984/article/details/37876355,其中有其代码的示例。
整个过程分为四个部分:首先对待融合的两张图构建laplacian金字塔,然后并且设置一张mask,用于确定两张图哪个部分进行融合操作,以及按怎样的权值进行融合,对mask构建与前laplacian金字塔同size的高斯金字塔。接着,将其中一张图的laplacian各个层与mask的各个层权重相乘(.mul),另一张图的laplacian各个层与(1-mask)各个层权重相乘。最后,进行上采样得到融合后的图。