第一章 2D射影几何和变换（下）

系列索引：MVG计算机视觉中的多视图几何
上一篇：第一章 2D射影几何和变换（上）

1.5 从图像恢复仿射和度量性质

由图像恢复仿射和度量性质可以说是2D射影几何的主要目的之一。通俗来说，就是将图像进行变换，使得图像像素级别的平行（仿射）性质和单位长度（度量）性质和实际三维世界（的平面）对应。

射影变换8dof＝仿射变换6dof+无穷直线的像2dof＝相似变换4dof+2个虚圆点+无穷直线的像2dof
$H=H_SH_AH_P=\begin{bmatrix} sR & \mathbf{t}/v \\ \mathbf{0}^T & 1 \end{bmatrix}\begin{bmatrix} K & \mathbf{0} \\ \mathbf{0}^T & 1 \end{bmatrix}\begin{bmatrix} I & \mathbf{0} \\ \mathbf{v}^T & v \end{bmatrix}=\begin{bmatrix} A & \mathbf{t} \\ \mathbf{v}^T & v \end{bmatrix}$
无穷远线
在射影变换中，理想点可以映射为有限点，因而无穷远直线 $\mathbf{l}_{\infty}$ 被映射为有限直线。但是在仿射变换下， $\mathbf{l}_{\infty}$ 依然被映射为无穷直线：
$\mathbf{l}_{\infty}^{'}=H_{A}^{-T}\mathbf{l}_{\infty}=\begin{bmatrix} A^{-T} & \mathbf{0} \\ -\mathbf{t}^{T}A^{-T} & 1 \end{bmatrix} \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}=\begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}=\mathbf{l}_{\infty}$

结论：在射影变换 $H$ 下，无穷远直线 $\mathbf{l}_{\infty}$ 为不动直线的充要条件是 $H$ 是仿射变换
注意：在仿射变换下， $\mathbf{l}_{\infty}$ 并不是点点不动。
由图像恢复仿射性质：摄影到仿射，目的是恢复平行性质
已知 $\mathbf{l}_{\infty}$ 的像，可以将射影变换恢复到仿射变换。

仿射矫正：单应→仿射，目的是使图片和平面有相同的平行性质

如果无穷远直线的像是 $\mathbf{l}=(l_1,l_2,l_3)^T$ ，假定 $l_3 \neq 0$ ，那么把 $\mathbf{l}$ 映射回 $\mathbf{l}_{\infty}=(0,0,1)^T$ 的一个合适的射影变换是
$H=H_A \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ l_1 & l_2 & l_3 \end{bmatrix} \\ H^{-T}(l_1,l_2,l_3)^T=(0,0,1)^T=\mathbf{l}_{\infty}$

仿射矫正计算方法
已知：一条直线上三个点 $\mathbf{a}$ 、 $\mathbf{b}$ 、 $\mathbf{c}$ 的像 $\mathbf{a}'$ 、 $\mathbf{b}'$ 、 $\mathbf{c}'$ 以及两个线段在真实世界的长度比 $d(\mathbf{a},\mathbf{b}):d(\mathbf{b},\mathbf{c})=a:b$
求解：该直线无穷远点的像
计算过程：

在图象中计算距离比 $d(\mathbf{a'},\mathbf{b'}):d(\mathbf{b'},\mathbf{c'})=a':b'$
分别在直线 $<\mathbf{a},\mathbf{b},\mathbf{c}>$ 和 $<\mathbf{a}',\mathbf{b}',\mathbf{c}'>$ 上建立坐标系，把这些点表示为齐次2维矢量 $(0,1)^T$ ， $(a,1)^T$ ， $(a+b,1)^T$ 以及 $(0,1)^T$ ， $(a',1)^T$ ， $(a'+b',1)^T$
计算从 $\mathbf{a} \rightarrow \mathbf{a}'$ ， $\mathbf{b} \rightarrow \mathbf{b}'$ ， $\mathbf{c} \rightarrow \mathbf{c}'$ 的1D射影变换 $H_{2\times2}$
计算变换 $H_{2\times2}$ 下无穷远点 $(1,0)^T$ 的像，即为结果。

虚圆点及其对应的对偶二次曲线
虚圆点（绝对点）： $\mathbf{l}_{\infty}$ 在相似变换下的不动点
$\mathbf{I}=\begin{bmatrix} 1 \\ i \\ 0 \end{bmatrix}$

$\mathbf{J}=\begin{bmatrix} 1 \\ -i \\ 0 \end{bmatrix}$

虚圆点在保向相似变换下不变
$\mathbf{I'}=H_S\mathbf{I}=\begin{bmatrix} s\cos{\theta} & -s\sin{\theta} & t_x \\ s\sin{\theta} & s\cos{\theta} & t_y \\ 0 & 0 & 1 \end{bmatrix}\begin{bmatrix} 1 \\ i \\ 0 \end{bmatrix}=se^{-i\theta}\begin{bmatrix} 1 \\ i \\ 0 \end{bmatrix}=\mathbf{I}$

在射影变换 $H$ 下，虚圆点 $I$ 和 $J$ 为不动点的充要条件是 $H$ 是相似变换

“虚圆点”的命名起源于每一圆周交 $\mathbf{l}_{\infty}$ 于虚圆点。当二次曲线为圆时，有 $a=c$ 且 $b=0$ ，取 $a=1$ ，有
$x_1^2+x_2^2+dx_1x_3+ex_1x_3+fx_3^2=0$
该二次曲线交 $\mathbf{l}_{\infty}$ 于理想点，即 $x_3=0$ ，则有
$x_1^2+x_2^2=0$
解得 $\mathbf{I}=(1,i,0)^T, \mathbf{J}=(1,-i.0)^T$

虚圆点对应的对偶二次曲线
$C^*_{\infty}=\mathbf{IJ}^T+\mathbf{JI}^T=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{bmatrix}$

射影平面的夹角
在欧氏几何中，两线间的夹角由它们法线的点乘来计算。直线 $\mathbf{l}=(l_1,l_2,l_3)^T$ 和 $\mathbf{m}=(m_1,m_2,m_3)^T$ 的法线分别平行于 $(l_1,l_2)^T$ 和 $(m_1,m_2)^T$ ，其夹角为
$\cos{\theta}=\frac{l_1m_1+l_2m_2}{\sqrt{(l_1^2+l_2^2)(m_1^2+m_2^2)}}$
上式经过仿射变换或射影变换后不能使用，而应该用下式代替
$\cos{\theta}=\frac{\mathbf{l}^TC^{*}_{\infty}\mathbf{m}}{\sqrt{(\mathbf{l}^TC^{*}_{\infty}\mathbf{l})(\mathbf{m}^TC^{*}_{\infty}\mathbf{m})}}$
而上式在射影变换下不变
$\mathbf{l}^TC^{*}_{\infty}\mathbf{m} \rightarrow (\mathbf{l}^TH^{-1})(HC^{*}_{\infty}H^T)(H^{-T}\mathbf{m})=\mathbf{l}^TC^{*}_{\infty}\mathbf{m}$
一旦二次曲线 $C^*_{\infty}$ 的像已知，则可以通过两直线的像计算其实际角度；且根据正弦定理也可以推出长度比。
一旦 $\mathbf{l}^TC^{*}_{\infty}\mathbf{m}=0$ ，则直线 $\mathbf{l}$ 和 $\mathbf{m}$ 正交。

对偶二次曲线 $C^*_{\infty}$ 的像
${C^{*}_{\infty}}'=(H_PH_AH_S)C^{*}_{\infty}(H_PH_AH_S)^T=(H_PH_A)(H_SC^{*}_{\infty}H_S^T)(H_A^TH_P^T) \\=(H_PH_A)C^{*}_{\infty}(H_A^TH_P^T)=\begin{bmatrix} KK^T & KK^T\mathbf{v} \\ \mathbf{v}^TKK^T & \mathbf{v}^TKK^T\mathbf{v} \end{bmatrix}$
一旦找到 ${C^{*}_{\infty}}'$ ，就可以将射影变换矫正为相似变换。将 ${C^{*}_{\infty}}'$ 进行SVD：
${C^{*}_{\infty}}'=U\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{bmatrix}U^T$
其中 $U$ 即为矫正变换
度量矫正I：仿射矫正+2对垂直线的像仿射到相似，目的是恢复夹角
$\mathbf{l}'^T{C^{*}_{\infty}}'\mathbf{m}'=\begin{bmatrix} l_1' & l_2' & l_3' \end{bmatrix} \begin{bmatrix} KK^T & \mathbf{0} \\ \mathbf{0}^T & 0 \end{bmatrix} \begin{bmatrix} m_1' \\ m_2' \\ m_3' \end{bmatrix}=0$
上式可以重写为
$(l_1'm_1',l_1'm_2'+l_2'm_1',l_2'm_2')\mathbf{s}=0$
其中 $S=KK^T$ ， $\mathbf{s}=(s_{11},s_{12},s_{22})$
两对正交直线组成 $2\times3$ 矩阵，即可求解 $S$ ，再通过Cholesky分解求得 $K$ 。

度量矫正II：5对垂直线的像射影到相似，目的是恢复夹角
由 $\mathbf{l}^T{C^*_{\infty}}'\mathbf{m}=0$ 得
$(l_1m_1,(l_1m_2+l_2m_1)/2,l_2m_2,(l_1m_3+l_3m_1)/2,(l_2m_3+l_3m_2)/2,l_3m_3)\mathbf{c}=0$
其中， $\mathbf{c}=(a,b,c,d,e,f)^T$ 是 ${C^*_{\infty}}'$ 的6维矢量形式。
五对正交直线组成 $5\times6$ 矩阵，即可求解 ${C^*_{\infty}}'$ ，再通过Cholesky分解求得 $K$ .

1.6 二次曲线的其他性质

点 $\mathbf{x}$ 和二次曲线 $C$ 定义一条直线 $\mathbf{l}=C\mathbf{x}$ . $\mathbf{I}$ 称为 $\mathbf{x}$ 关于 $C$ 的极线，而点 $\mathbf{x}$ 称为 $\mathbf{l}$ 关于 $C$ 的极点.
点 $\mathbf{x}$ 和二次曲线 $C$ 的极线 $\mathbf{l}=C\mathbf{x}$ 与 $C$ 交于两点. $C$ 的过这两点的两条切线相交于 $\mathbf{x}$

如果点 $\mathbf{x}$ 在 $C$ 上，则它的极线就是二次曲线过 $\mathbf{x}$ 的切线。

对射： $\mathbb{P}^2$ 点到 $\mathbb{P}^2$ 线的可逆映射
共轭点：如果点 $\mathbf{y}$ 在极线 $\mathbf{l}=C\mathbf{x}$ 上，则 $\mathbf{y}^T\mathbf{l}=\mathbf{y}^TC\mathbf{x}=0$ .满足 $\mathbf{y}^TC\mathbf{x}=0$ 的任何两点 $\mathbf{x}$ 和 $\mathbf{y}$ 称为关于二次曲线 $C$ 的共轭。
如果 $\mathbf{x}$ 在 $\mathbf{y}$ 的极线上，那么 $\mathbf{y}$ 也在 $\mathbf{x}$ 的极线上。

二次曲线的分类

不动点：变换矩阵的特征向量

下一篇：第二章 3D射影几何和变换

最后编辑于：2024.03.25 22:02:07

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 215,634评论 6赞 497
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,951评论 3赞 391
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 161,427评论 0赞 351
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,770评论 1赞 290
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,835评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,799评论 1赞 294
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,768评论 3赞 416
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,544评论 0赞 271
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,979评论 1赞 308
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,271评论 2赞 331
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,427评论 1赞 345
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,121评论 5赞 340
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,756评论 3赞 324
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,375评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,579评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,410评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,315评论 2赞 352

第一章 2D射影几何和变换（下）

1.5 从图像恢复仿射和度量性质

1.6 二次曲线的其他性质

推荐阅读更多精彩内容