利用后期成本聚合提升多视图立体匹配
内容提要
该文综述立体匹配与多视角立体中的代价聚合研究，主要贡献包括：提出两路神经网络视差匹配，在KITTI等数据集上超越当时最先进方法；利用匹配不确定性估计将遮挡信息融入MVS网络，提升严重遮挡下的深度精度；提出时间与内存高效的由粗到细立体方法；设计基于自注意力与相似度测量的高效MVS网络；提出金字塔MVS自适应视图聚合；提出CostFormer及RDACT、RRT模块以聚合长程特征；利用稀疏点与神经网络加速推理；提出局部与全局引导聚合层及GA-Net；构建通用跨尺度聚合框架；Point-MVSNet融合3D几何与2D纹理直接处理点云。
延伸解读
代价聚合：立体匹配的核心环节
文章开篇即指出，匹配成本聚合对于准确估计视差至关重要，无论是传统方法还是深度神经网络模型。这提示读者，在评估立体匹配或MVS算法时，不应只关注特征提取或匹配代价计算，聚合步骤同样决定最终精度。后续多项工作（如两路神经网络、GA-Net、CostFormer）都围绕聚合方式展开创新，说明该环节是提升性能的关键杠杆。
遮挡与不确定性：MVS的难点突破
文章提到，基于匹配不确定性估计将像素级遮挡信息显式集成到MVS网络中，可抑制遮挡对成本聚合的不利影响，并在严重遮挡场景中提升深度精度。这为读者理解MVS在真实场景中的局限提供了线索：遮挡是常见误差来源，而显式建模不确定性是一种有针对性的改进思路，而非单纯增加网络容量。
效率与精度并重的技术路线
从时间与内存高效的由粗到细立体方法，到基于稀疏点和神经网络加速推理，再到CostFormer利用Transformer聚合长程特征，文章呈现了多条兼顾效率与精度的路线。读者可留意，这些方法分别从分辨率渐进、稀疏计算和注意力机制入手，说明提升MVS性能并非只有堆叠计算资源一途，结构设计同样能带来竞争力。
从代价体到点云：几何与纹理的融合
Point-MVSNet直接处理点云，将3D几何先验和2D纹理信息融入特征增强的点云中，实现更高精度、更高效率和更大灵活性。这提示读者，MVS的输出表示并不局限于深度图或代价体，点云作为一种直接的三维表示，为后续融合几何与纹理信息提供了新思路，也反映了该领域从2D匹配向3D几何处理的延伸趋势。
Q&A
有哪些方法可以提升严重遮挡场景下的多视图立体深度精度？
可以采用基于匹配不确定性估计的方法，将像素级遮挡信息显式推理并集成到MVS网络中，从而抑制遮挡对成本聚合的不利影响。例如Vis-MVSNet算法在DTU、BlendedMVS和Tanks and Temples数据集上验证了有效性。
CostFormer是什么？它包含哪些模块？
CostFormer是一种基于Transformer的高效成本聚合网络，包含两个模块：Residual Depth-Aware Cost Transformer（RDACT）通过沿深度和空间维度的自注意力机制聚合成本体上的长程特征；Residual Regression Transformer（RRT）用于增强空间关注。
GA-Net在立体匹配中有什么创新？
GA-Net提出了两个新颖的神经网络层，分别捕捉局部和整个图像的成本依赖关系，并训练了深度引导聚合网络。实验表明，具有两个引导聚合块的网络轻松超越具有十九个3D卷积层的GC-Net，在Scene Flow和KITTI上比最先进方法更准确。
如何加速立体匹配的推理速度？
可以利用稀疏点和神经网络进行代价聚合，从而加速推理速度，并在KITTI数据集上取得了有竞争力的结果。
Point-MVSNet是如何处理三维重建的？
Point-MVSNet直接用点云处理目标场景，通过将3D几何先验和2D纹理信息融入特征增强的点云中，实现了在multi-view stereo中更高的精度、更高的计算效率和更大的灵活性。
有哪些由粗到细的立体匹配方法？
例如一种节省时间和内存的方法，在几何和语境的渐进细化尺度中构建特征金字塔下的代价体，随着代价体分辨率和深度间隙的自适应调整，从粗到细恢复输出。另外还有高效MVS网络采用策略推断粗到细的深度图，引入自注意力层与相似度测量生成新代价体进行细化。
