本文共 2311 字，大约阅读时间需要 7 分钟。
在稠密三维重建中，rectification（校正）能够有效简化patch match的过程。这一技术在双目特征匹配等场景中也展现了独特的优势。我最近阅读了一篇名为《A Compact Algorithm for Rectification of Stereo Pairs》的论文，以下是我对这篇论文的阅读笔记。
这篇论文提出了一种紧凑的算法来实现立体对的校正。其核心思想是通过使用两个视角投影矩阵（Perspective Projection Matrices, PPMs），简化了三维重建中的校正过程。该算法在忽略对三维重建精度影响的同时，显著提升了计算效率。
优势分析：
rectification的核心作用在于将立体对校正过程简化。通过在平行的轴上搜索（而非复杂的空间对应搜索），可以显著减少计算复杂度和时间成本。在世界坐标系中，一个3D点的位置可以用向量(\mathbf{w} = [x, y, z]^{\top})表示，而其在图像上的像素坐标为(\mathbf{m} = [u, v]^{\top})。从3D到2D的投影过程可以用齐次坐标下的线性变换表示为：
[\lambda \tilde{\mathbf{m}} = \tilde{\mathbf{P}} \tilde{\mathbf{w}}]
其中，(\tilde{\mathbf{m}} = [u, v, 1]^{\top})和(\tilde{\mathbf{w}} = [x, y, z, 1]^{\top})。投影矩阵(\tilde{\mathbf{P}})可以分解为一个与相机内参相关的矩阵(\mathbf{A})和一个旋转-平移矩阵([\mathbf{R} | \mathbf{t}])的乘积：
[\tilde{\mathbf{P}} = \mathbf{A}[\mathbf{R} | \mathbf{t}]]
矩阵(\mathbf{A})的具体形式为：
[\mathbf{A} = \begin{bmatrix}\alpha_u & \gamma & u_0 \0 & \alpha_v & v_0 \0 & 0 & 1\end{bmatrix}]
其中，(\alpha_u)、(\alpha_v)、(\gamma)、(u_0)和(v_0)是相机的内参数。根据迪尔卡坐标系下的投影公式，光心的位置可以表示为：
[\mathbf{c} = -\mathbf{Q}^{-1} \tilde{\mathbf{q}}]
通过这些变换，我们可以将投影矩阵(\tilde{\mathbf{P}})重写为：
[\tilde{\mathbf{P}} = [\mathbf{Q} | -\mathbf{Q} \mathbf{c}]]
在已标定好的双目 rigs中，假设两个相机的内外参已知，我们可以通过rectification生成新的视角投影矩阵（PPMs）。rectification的核心思想是通过对原投影矩阵进行旋转，使得两个相机的焦平面变为平行且包含基线的状态。
具体来说，新的PPMs的光心位置与原矩阵一致，但旋转矩阵会发生改变。为了确保对极线平行，基线必须与两个相机的新X轴平行。同时，新的相机必须具有相同的内参，以保证垂直坐标系的一致性。
新的投影矩阵可以表示为：
[\tilde{\mathbf{P}}{n1} = \mathbf{A}[\mathbf{R} | -\mathbf{R} \mathbf{c}_1], \quad \tilde{\mathbf{P}}{n2} = \mathbf{A}[\mathbf{R} | -\mathbf{R} \mathbf{c}_2]]
其中，(\mathbf{A})是与相机内参相关的矩阵，而(\mathbf{c}_1)和(\mathbf{c}_2)是原相机的光心坐标。旋转矩阵(\mathbf{R})可以表示为：
[\mathbf{R} = \begin{bmatrix}\mathbf{r}_1^{\top} \\mathbf{r}_2^{\top} \\mathbf{r}_3^{\top}\end{bmatrix}]
其中，(\mathbf{r}_1)、(\mathbf{r}_2)和(\mathbf{r}_3)分别对应X、Y和Z轴的方向向量。为了实现rectification，我们需要满足以下条件：
通过上述变换，可以实现以下目标：
我们的实验表明，该rectification方法不会引入可见误差，能够有效提升双目特征匹配的性能。这种方法在稠密三维重建中展现了良好的实用价值。