不受范围限制的多视角深度估计及关键帧选择
内容提要
该文综述单目深度估计研究进展，涵盖自监督、光流稀疏先验、混合数据集训练、测试时优化、ZeroDepth框架、雷达相机融合及多视角方法，在KITTI、NYUv2等数据集上提升精度与泛化能力。
延伸解读
技术演进：从单目到多视角融合
文章梳理了单目深度估计的多条技术路线，包括自监督学习、光流稀疏先验、混合数据集训练和测试时优化等。这些方法旨在提升深度估计的精度和泛化能力，并在KITTI、NYUv2等基准上验证。多视角方法的引入进一步提高了三维重建的准确性，反映了该领域从单一图像向多视角融合的发展趋势。
泛化能力：跨数据集与零样本挑战
多项研究致力于解决深度模型在不同场景和相机参数下的泛化问题。例如，ZeroDepth框架通过解耦编码器和解码器，能在不同域预测尺度；测试时优化方法将仿射不变模型的鲁棒性迁移到多样化场景。这些工作表明，提升跨数据集和零样本性能是当前研究的重要方向。
多传感器融合：雷达与相机互补
文章提到一种基于稀疏雷达点云和单视角图像的度量深度估计方法，通过全局比例校准、稀疏雷达点与图像补丁关联学习以及局部尺度细化，在nuScenes和ZJU-4DRadarCam数据集上显著降低了深度估计误差。这显示了多传感器融合在提升深度估计精度方面的潜力。
Q&A
自监督单目深度估计中，如何通过数据增强和多路径编码器解码器提高特征融合精度？
本研究提出了一种分辨率自适应的自监督单目深度估计方法，通过数据增强和多路径编码器解码器等方法提高特征融合精度，进而在 KITTI、Make3D 和 NYU-V2 等数据集上取得了具有竞争力的结果。
基于光流和稀疏深度先验的方法如何恢复场景的深度密集图？
该方法将动态场景模型假设为分段平面模型，计算其局部刚性变换和尽可能刚性的全局变换，无需显式估计 3D 旋转和平移即可高效恢复场景的深度密集图，适用于广泛的场景。
ZeroDepth 框架是如何实现跨域和相机参数的尺度预测的？
ZeroDepth 采用输入级几何嵌入和变分潜在表示，并将编码器和解码器阶段解耦合，可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内（NYUv2）和户外（KITTI，DDAD，nuScenes）基准测试中，使用相同的预训练模型取得了最新的最佳成果。
雷达相机融合方法在深度估计中取得了怎样的精度提升？
基于稀疏雷达点云和单视角图像的度量密集深度估计的新方法，使用雷达—相机框架对深度估计进行全局比例校准、稀疏雷达点与图像补丁的关联学习进行准密度尺度估计以及通过尺度映射学习对密集深度进行局部尺度细化，提高深度估计精度。在 nuScenes 和 ZJU-4DRadarCam 数据集上，与最先进的雷达—相机深度估计方法相比，MAE 分别降低了 25.6% 和 40.2%。
多视角深度估计方法在三维重建中的表现如何？
通过多视角深度估计方法实现了精确简易的三维重建，在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。
测试时间优化方法如何提升仿射不变深度模型的泛化能力？
提出了一种新的测试时间优化方法，可以将仿射不变深度模型的健壮性转移到具有挑战性的多样化场景，同时确保帧间一致性，每个视频帧只需优化几十个参数。实验证明，在五个零样本测试数据集上实现了最先进的跨数据集重建。
