全景拼接算法深度解析 - 从特征检测到无缝融合
全景拼接概述 - 处理流水线架构
全景拼接将多张重叠的照片合成为一张宽视角图像。完整的处理流水线包含特征检测与匹配、几何变换估计、图像变形、曝光补偿、接缝查找和融合等步骤。
流水线阶段:
- 特征检测与匹配：在相邻图像间找到对应点
- 单应性估计：计算图像间的几何变换关系
- 图像变形：将所有图像变换到统一坐标系
- 曝光补偿：统一各图像的亮度
- 接缝查找：确定最优拼接线
- 多频段融合：消除接缝处的可见痕迹
输入要求：相邻图像需要 20-40% 的重叠区域。拍摄时保持相机绕光心旋转 (减少视差)。焦距一致有助于提高拼接质量。
全景拼接 (Image Stitching) 是把具有重叠区域的多张图像在几何上对齐、整合为 1 张宽视野图像的技术。手机的全景模式、Google Street View、卫星图像的镶嵌处理等日常使用的功能，背后都是这类算法。
处理流水线：Step 1 特征点检测与匹配 (从各图像检出特征点，找到图像对之间的对应点)；Step 2 单应性估计 (从对应点计算图像间的射影变换矩阵)；Step 3 图像变形 (把全部图像变换到共同的坐标系)；Step 4 曝光补偿 (校正图像间的明暗差异)；Step 5 接缝查找 (在重叠区域中找到最优的接合线)；Step 6 融合 (把接合部平滑地融合)。
前提条件与高层 API：要让拼接正确工作，理想情况是 (1) 相邻图像之间有 20-40% 的重叠、(2) 拍摄时只有相机的旋转 (平移很小)、(3) 场景是静态的 (没有移动物体)。OpenCV 的 cv2.Stitcher_create() 可以用 1 行执行上述整条流水线，但理解每个步骤并调整参数才是提升质量的关键。
特征匹配与单应性估计 - 几何对齐的基础
特征匹配建立图像间的点对应关系，单应性矩阵描述两张图像间的投影变换。
特征检测器:
- SIFT：尺度不变，旋转不变。精度最高但速度慢
- ORB：快速二进制描述子。速度是 SIFT 的 100 倍，适合实时应用
- SuperPoint：深度学习特征点，在困难场景 (弱纹理、光照变化) 下表现优异
匹配与筛选：使用 KNN 匹配 + 比率测试 (Lowe's ratio test，阈值 0.7) 筛选可靠匹配。RANSAC 进一步剔除外点，同时估计单应性矩阵 H。
单应性矩阵: 3×3 矩阵 H 将一张图像的像素坐标映射到另一张：[x', y', 1]^T = H × [x, y, 1]^T。至少需要 4 对匹配点求解。RANSAC 迭代次数通常设为 1000-5000 次。
特征点与图像对的确定：速度优先时选择 ORB (实时拼接) 或 AKAZE (均衡型)。一般从每张图像检出 1000-3000 个点。有 N 张图像时，可以对全部图像对 (N(N-1)/2) 尝试匹配，若拍摄顺序已知则只处理相邻的图像对。匹配点数在阈值 (通常 30 点) 以上的图像对判定为「有连接」。
单应性的求解：H 具有 8 个自由度，最少可由 4 组对应点计算：H, mask = cv2.findHomography(pts_src, pts_dst, cv2.RANSAC, 4.0)。
光束法平差与焦距：合成 3 张以上图像时，把逐对求得的单应性连锁起来会累积误差，OpenCV 的 Stitcher 在内部执行了这一处理。若焦距 f 已知 (可从 EXIF 取得)，就能从单应性分解出旋转矩阵，在球面坐标系中进行合成。
图像变形与坐标系设计 - 最小化畸变的投影方法
将所有图像变换到统一坐标系时，投影方式的选择直接影响最终全景图的畸变程度。
投影类型:
- 平面投影：最简单，但视角超过 90° 时边缘严重拉伸
- 柱面投影：适合 360° 水平全景。垂直方向保持直线
- 球面投影：适合全方位全景。所有方向均匀分布畸变
参考图像选择：通常选择中间位置的图像作为参考 (不变形)，其他图像向参考图像对齐。这最小化了累积变形误差。
Bundle Adjustment：全局优化所有相机参数 (焦距、旋转)，最小化重投影误差。比逐对估计单应性更精确，尤其对长序列全景至关重要。OpenCV 的 cv2.detail.BundleAdjusterRay 提供实现。
平面投影 (Planar/Perspective)：最简单的投影，把其他图像变换到 1 张基准图像的坐标系中。适合视场角较窄 (60° 以下) 的情况，视角变宽后边缘的畸变会变得显著。
圆柱投影 (Cylindrical) 与球面投影 (Spherical)：圆柱投影把图像投影到圆柱面上，水平方向的畸变被抑制，适合水平全景 (180° 左右)。K = np.array([[f, 0, cx], [0, f, cy], [0, 0, 1]]) 为相机内参矩阵，向圆柱坐标的变换为 x' = f × arctan((x-cx)/f)、y' = f × (y-cy) / √((x-cx)² + f²)。球面投影把图像投影到球面上，各方向的畸变均匀，最适合 360° 全景与宽视场 (180° 以上) 的合成，Google Street View 就采用这种投影。
变形的实现与插值选择：warped = cv2.warpPerspective(img, H, (width, height))。输出图像的尺寸需要计算成能够包含全部图像变形后的范围。变形时的插值用双线性 (cv2.INTER_LINEAR) 在速度与质量上最为均衡；需要最高质量时使用 Lanczos (cv2.INTER_LANCZOS4)，但处理时间会变成 2-3 倍。
曝光补偿与增益调整 - 统一亮度
不同时刻拍摄的图像可能有不同的曝光，直接拼接会产生明显的亮度跳变。曝光补偿统一所有图像的亮度。
增益补偿：为每张图像计算一个全局增益系数 g_i，使重叠区域的亮度差异最小化。最小化：Σ(g_i × I_i - g_j × I_j)² 对所有重叠像素对。约束：Σg_i = N (防止退化解)。
分块补偿：全局增益无法处理局部光照变化 (如部分阴影)。将图像分成网格块，每块独立计算增益，然后双线性插值平滑过渡。
实现: OpenCV 的 cv2.detail.ExposureCompensator 提供增益补偿和分块补偿。cv2.detail.GainCompensator 是最常用的方法。
增益补偿 (Gain Compensation)：对每张图像乘以一个系数 (增益) 来统一亮度，是最简单的手法。把图像分割成 8x8 或 16x16 的块、按块计算增益的做法也很有效。
色彩校正：对 RGB 各通道独立进行增益补偿，可以同时校正色调的差异。不过通道之间的平衡一旦被打破颜色就会不自然，因此也可以只校正亮度通道 (Lab 色空间的 L)、保留色度 (a, b)。用 scikit-image 的 match_histograms() 即可实现。
实测效果：不做增益补偿的全景图中，接合部的亮度差平均为 15-30 (8bit 值)；做了增益补偿之后可降到 3-5。
接缝查找 - 确定最优拼接线
在重叠区域中找到视觉上最不明显的拼接线，避免穿过物体或高对比度区域。
图割法 (Graph Cut)：将接缝查找建模为最小割问题。节点是重叠区域的像素，边权重反映该处拼接的代价 (颜色差异、梯度差异)。最小割给出代价最低的拼接路径。
动态规划：对于简单的水平/垂直拼接，动态规划从一端到另一端寻找最小代价路径。速度比图割快但灵活性较低。
代价函数设计:
- 颜色差异: |I_1(x,y) - I_2(x,y)|，基本代价
- 梯度差异：避免接缝穿过强边缘
- 结构代价：惩罚穿过物体中心的接缝
OpenCV 实现: cv2.detail.GraphCutSeamFinder 和 cv2.detail.DpSeamFinder 分别提供图割和动态规划方法。图割质量更高但速度较慢。
基于 Voronoi 的接缝：根据到各图像中心的距离来决定接缝，是最简单的手法。
OpenCV 中的实现：可以使用 cv2.detail.VoronoiSeamFinder()、cv2.detail.GraphCutSeamFinder()、cv2.detail.DpSeamFinder()。GraphCut 质量最高，但 4K 图像约需 500ms；Voronoi 则在 5ms 以下。
多频段融合 - 无缝图像合成
多频段融合 (Multi-band Blending) 在不同频率上使用不同宽度的过渡带，实现视觉上无缝的拼接效果。
原理：将图像分解为多个频段 (拉普拉斯金字塔)。低频 (大尺度结构) 使用宽过渡带平滑融合；高频 (细节纹理) 使用窄过渡带保持锐度。这避免了简单线性融合导致的重影和模糊。
算法步骤:
- 构建两张图像的拉普拉斯金字塔 (通常 5-6 层)
- 构建掩码的高斯金字塔
- 在每一层，用对应层的掩码混合两张图像的拉普拉斯层
- 从顶层向下重建融合后的图像
频段数选择：频段数 = log2(过渡带宽度)。通常 5-6 个频段 (对应 32-64 像素过渡带) 效果良好。过多频段增加计算量但改善有限。
OpenCV 全景拼接: cv2.Stitcher.create() 封装了完整流水线。cv2.detail.MultiBandBlender 提供多频段融合。对于自定义需求，可单独调用各步骤的 API。
多频段融合的原理：Burt & Adelson (1983) 提出的方法，把图像分解为拉普拉斯金字塔 (按频带分解)，并在每个频带上采用不同的融合宽度：低频带 (大的结构) 用较宽的融合宽度平滑融合，高频带 (边缘、纹理) 用较窄的融合宽度 (几乎在接缝上直接切换) 以保持锐利。
实现步骤：为各图像构建拉普拉斯金字塔 (通常 5-6 层)；为接缝掩码构建高斯金字塔；在每一层按掩码融合：L_blend = L_A × M + L_B × (1-M)；再对融合后的拉普拉斯金字塔进行重建，得到最终图像。OpenCV 中可使用 cv2.detail.MultiBandBlender()。
性能：4K 全景 (合成 3 张) 时，Voronoi 接缝 + 多频段融合 (5 个频带) 的处理时间约 200ms；GraphCut 接缝 + 多频段融合约需 700ms。