Natural Image Stitching with the Global Similarity Prior

作者：Yu-Sheng Chen; Yung-Yu Chuang
机构：台湾大学
年份：2016
期刊/会议：European Conference on Computer Vision (ECCV)
原文地址：Natural Image Stitching with the Global Similarity Prior

本文提出了一种将多张图像拼接在一起的方法，使拼接后的图像看起来尽可能自然。我们的方法采用局部扭曲模型并使用网格引导每个图像的扭曲。设计了一个目标函数来指定扭曲的所需特征。除了良好的对齐和最小的局部失真之外，我们还在目标函数中添加了全局相似性先验。这个先验限制了每个图像的扭曲，使其整体上类似于相似变换。相似变换的选择对结果的自然性至关重要。我们提出了为每个图像选择适当比例和旋转的方法。所有图像的扭曲一起解决，以最大限度地减少全局失真。

Ⅰ 介绍

图像拼接是用多幅图像组合成具有更广视野图像的过程。早期的方法如寻找全局参数扭曲很有效，但是不够灵活，为了解决全局扭曲的不足和提升模型精度，提出平滑变化仿射 (SVA) 扭曲和尽可能投影 (APAP) 扭曲。当将多个图像拼接成一个非常宽的视角时。图像中形状/区域的扭曲失真会累加。

由于具有宽视野的单视角图像不可避免地会引入严重的形状/尺寸失真，因此这些方法提供了多视角拼接图像。

半投影扭曲 (SPHP) ：投影变换和相似变换的空间组合，重叠区域的投影变换外推到非重叠区域的相似变换，在重叠区域保持良好的对齐，而非重叠区域的相似变换保持图像的原始视角并减少失真。但是有一些局限性：

继承了单应性的局限性，并存在视场有限的问题。
使用全局单应性，导出的相似变换可能会表现出不自然的旋转。

作者提出的方法采用局部扭曲模型。每个图像的扭曲由网格引导。设计了一个目标函数来指定扭曲的所需特征。所有图像的扭曲一起解决以获得最佳解决方案。优化导致稀疏线性系统并且可以有效地求解。关键思想是添加一个全局相似性项，要求每个图像的扭曲作为一个整体类似于相似性变换。

18张图像拼接

Ⅱ 相关工作

AutoStitch
双单应扭曲来专门处理包含两个主导平面的场景
APAP
SPHP、AANAP

Ⅲ 方法

局部扭曲模型包括以下步骤：特征检测与匹配、图像匹配图验证、APAP的匹配点生成、焦距和 3D 旋转估计、缩放和旋转选择、网格优化、通过纹理映射合成结果

1. APAP匹配点生成

令 $I_i$ 和 $I_j$ 为待拼接图像并划分了网格， $I_i$ 在 $I_i$ 和 $I_j$ 的重叠区域上找到的网格点作为匹配点 ${\bf M}^{ij}$ ， $I_j$ 在 $I_i$ 和 $I_j$ 的重叠区域上找到的网格点作为匹配点 ${ \bf M }^{ji}$

图像特征点匹配和匹配点匹配示意图

之后的步骤会利用匹配点代替特征点，因为匹配点分布更加均匀。

2. 网格扭曲拼接

使用网格引导图像变形，令 ${ \bf V}_i$ 表示图像 $I_i$ 的网格点， ${\bf E}_i$ 为图像 $I_i$ 网格的边， ${\bf V }$ 代表所有网格点，拼接的目标是找到变换后网格点的位置 ${\tilde {\bf V}}$ 使能量函数 $\Psi({\bf V})$ 最小化。为了保证拼接图象自然，关于自然度的定义，作者假设原始图像对用户来说是自然的。因此，在局部，尽可能地保留了每个图像的原始视角。同时，在全局范围内，试图通过为图像找到合适的比例和旋转来保持良好的结构。能量函数由以下项组成：

对齐项： $\Psi_a$
局部相似项： $\Psi_l$
全局相似项： $\Psi_g$

对齐项 $\Psi_a$

为了保证匹配点与其对应关系对齐确保变形后的对其质量，定义：
$\begin{aligned} \varPsi _a(\mathbf {V})=\sum _{i=1}^N \sum _{(i,j) \in \mathbf {J}} \sum _{p^{ij}_k \in \mathbf {M}^{ij}} \Vert \tilde{v}(p^{ij}_k) - \tilde{v}(\varPhi (p^{ij}_k)) \Vert ^2, \end{aligned}$
其中 $\varPhi (p)$ 与给定匹配点 $p$ 相关， $\tilde{v}(p)$ 表示 $p$ 的位置是四个网格点的线性组合： $\sum_{i=1}^4{\alpha_i\tilde{v}_i}$ ，其中 $\tilde{v}_i$ 为 $p$ 所在网格的四个网格点， $\alpha_i$ 为对应双线性权重。

局部相似项 $\Psi_l$

为了确保重叠区域和非重叠区域的都经过相似变换，保证形状扭曲相差不会太多，定义为：
$\begin{aligned} \varPsi _l(\mathbf {V}) = \sum _{i = 1}^N \sum _{ (j, k) \in \mathbf {E}_i} \Vert (\tilde{v}^i_k - \tilde{v}^i_j) - \mathbf {S}^i_{jk} (v^i_k - v^i_j) \Vert ^2, \end{aligned}$
其中 $v^i_j$ 为原始图像网格点的位置， $\tilde{v}^i_j$ 为变形后网格点的位置。 ${\bf S}_{jk}^i$ 为边 $(j,k)$ 的相似变换，可以表示为
$\begin{aligned} \mathbf {S}^i _{jk} = \left[ \begin{array}{rr} c(e^i_{jk}) &{} s(e^i_{jk}) \\ -s(e^i_{jk}) &{} c(e^i_{jk}) \end{array} \right] . \end{aligned}$
其中 $c(e^i_{jk})$ 和 $s(e^i_{jk})$ 表示为网格点变量的线性组合，可以下述参考文献：

Igarashi, T., Igarashi, Y.: Implementing as-rigid-as-possible shape manipulation and surface flattening. J. Graph., GPU, & Game Tools 14(1), 17–30 (2009)

全局相似项 $\Psi_g$

这一项要求每个变形图像尽可能地进行相似性变换。这对缝合图像的自然性至关重要。简言之，如果没有这一项，结果可能是倾斜和非均匀变形的，如AANAP和SPHP所示

假设已经为 $I_i$ 确定了尺度因子 $s_i$ 和旋转角度 $\theta_i$ ，全局相似项可以表示为：
$\begin{aligned} \varPsi _g(\mathbf {V})=\sum _{i=1}^{N} \sum _{e^i_j \in \mathbf {E}_i} {w(e^i_j)}^2 \left[ ( c(e^i_j) - s_i \cos \theta _i)^2 + ( s(e^i_j) - s_i \sin \theta _i)^2 \right] , \end{aligned}$
权重函数 $w(e^i_j)$ 将更多权重分配给距离重叠区域更远的边。对于远离重叠区域的边，由于没有对齐约束，相似性先验更为重要。
$\begin{aligned} w(e^i_j) = \beta + \frac{ \gamma } {|Q(e^i_j)|} \sum _{q_k \in Q(e^i_j)} \frac{d(q_k, \mathbf {M}^i)} {\sqrt{ R_i^2 + C_i^2 }}, \end{aligned}$
其中 $\beta$ 和 $\gamma$ 为常数项，边缘的权重与边缘到网格空间中重叠区域的归一化距离成比例。

网格最佳变形由下式决定：
$\begin{aligned} \tilde{\mathbf {V}} = \arg \min _{ \tilde{\mathbf {V}}} \varPsi _a(\mathbf {V})+\lambda _l \varPsi _l(\mathbf {V}) + \varPsi _g(\mathbf {V}). \end{aligned}$
在实验中设置 $\lambda_l=0.56$ ， $\beta=6$ 以及 $\gamma=20$ ，参数之间是很稳定的因为各项之间不存在严重冲突。

3. 尺度和旋转选择

作者以两种方式改进AutoStitch对图像焦距和3D旋转角度的方法：更好的初始化和更好的点匹配。更好的初始化改善了方法的收敛性。

作者通过估计内参 ${\bf K}_i$ ，最小化投影误差获得 $I_i$ 和 $I_j$ 的3D旋转初始估计：
$\begin{aligned} \mathbf {R}_{ij} = \arg \min _{ \mathbf {R}} \sum _{p^{ij}_k \in \mathbf {M}^{ij}} \Vert \mathbf {K}_j \mathbf {R} \mathbf {K}^{-1}_i p^{ij}_k - \varPhi (p^{ij}_k) \Vert ^2. \end{aligned}$
随着 ${\bf K}_i$ 和 ${\bf R}_{ij}$ 的更好初始化，执行束调整可获得每个图像 $I_i$ 的焦距 $f_i$ 和3D旋转 $R_i$ 。等式4中 $I_i$ 的标度 $s_i$ 可以设置为
$s_i = f_0/f_i$

AANAP没有选择合适的旋转角度

作者定义了一些术语：

相对旋转范围：假设图像 $I_i$ 和 $I_j$ 的匹配点唯一确定相对旋转角，第 $k$ 对匹配点给出旋转角为 $\theta_k^{ij}$ ，相对旋转范围定义为：
$\begin{aligned} \varTheta ^{ij} = [ \theta ^{ij}_{min}, \theta ^{ij}_{max} ], \end{aligned}$
其中 $\theta_{min}^{ij}=\min_k\theta_k^{ij}$ 、 $\theta_{max}^{ij}=\max_k\theta_k^{ij}$ .
最小线段失真旋转：人类对线条更敏感。因此，作者提出了一个步骤，用于找到相对于线对齐的两个相邻图像之间的最佳相对旋转。首先使用LSD检测直线，通过APAP对齐，利用对应关系找到相对旋转角度，再使用RANSAC进行投票筛选，最终的相对旋转角度为所有角度的平均值。
$\begin{aligned} \mathbf {E}_{MLDR} = \sum _{(i,j) \in \mathbf {J}} \left \| R(\phi ^{ij}) \left[ \begin{array}{l} u_i \\ v_i \end{array} \right] - \left[ \begin{array}{l} u_j \\ v_j \end{array} \right] \right \| ^2, \end {aligned}$
其中 ${\bf R}(\phi^{ij})$ 为 $\phi^{ij}$ 指定2D旋转矩阵，通过最小化 ${E}_{MLDR}$ ，我们找到一组旋转角度 $\theta_i$ 以尽可能地满足MLDR成对旋转角度约束。提出了两种方法获得额外的约束：
旋转选择(2D方法)：
$\begin{aligned}& \mathbf {E}_{MLDR} + \lambda _z \mathbf {E}_{ZERO} \text{, } \text{ where }\end{aligned}$

$\begin{aligned}&\mathbf {E}_{ZERO} = \sum _{i \in \mathbf {\Omega }} \left\| \left[ \begin{array}{l} u_i \\ v_i \end{array} \right] - \left[ \begin{array}{l} 1 \\ 0 \end{array} \right] \right\| ^2 \end{aligned}$

旋转选择(3D方法)：
$\begin{aligned} \sum _{(i,j) \in \mathbf {\Omega }} \left\| R(\phi ^{ij}) \left[ \begin{array}{l} u_i \\ v_i \end{array} \right] - \left[ \begin{array}{l} u_j \\ v_j \end{array} \right] \right\| ^2 + \lambda _r \sum _{(i,j) \in \bar{\mathbf {\Omega }}} \left\| R(\alpha ^{ij}) \left[ \begin{array}{l} u_i \\ v_i \end{array} \right] - \left[ \begin{array}{l} u_j \\ v_j \end{array} \right] \right\| ^2. \end{aligned}$

不同方法拼接两张图片的例子

Ⅴ 实验和结果

六张图片拼接样例。(左上)AutoStitch，(左下)SPHP+APAP，(右上)AANAP，(右下)作者的结果（2D方法）。

拼接35张图片的例子。(左上)AutoStitch，(右上)AANAP，(左下)2D方法，(右下)3D方法。

Ⅵ 结论

本文提出了一种合成自然结果的图像拼接方法。我们的方法采用局部扭曲模型。通过添加全局相似性先验，我们的方法可以在保持良好对齐的同时减少失真。更重要的是，通过我们的缩放和旋转选择方法，全局相似性先验导致更自然的拼接图像。

本文提出了两个主要贡献。首先，它提出了一种结合APAP的对齐精度和相似度较少失真的方法。尽管可以探索单个组件，但我们以不同的方式利用它们。该方法还自然地处理多个图像的对齐。其次，它提出了稳健地估计图像的适当相似性变换的方法。它们有两个目的：进一步加强局部相似性和强加良好的全局结构。实验证实了所提出方法的有效性和鲁棒性。

NISwGSP：全局相似先验自然图像拼接