GAM-Depth: 利用梯度感知掩蔽和语义约束的自监督室内深度估计
内容提要
本文综述自监督单目深度估计研究，涵盖跨域语义信息引入、语义分割与深度估计互益、半监督框架、室内低纹理处理及流先验引导等方法，在KITTI、NYUv2等数据集上提升了精度与泛化能力。
延伸解读
语义信息如何提升深度估计
文章指出，引入跨域语义信息能改善几何表示，例如通过度量学习和特征融合模块，在KITTI数据集上优于现有技术。此外，语义分割与深度估计可相互促进，通过边界一致性约束迭代优化网络，能提升无监督单目深度估计的性能。这些方法表明，语义信息有助于处理物体边界和动态场景的监督限制。
室内场景的挑战与应对
室内自监督深度估计面临大面积低纹理区域和复杂训练数据的困难。文章提到IndoorDepth通过改进SSIM光度损失和分阶段训练姿态网络来应对，在NYUv2上超越先前方法。另一项工作利用多视图几何获取相机姿态，并通过视觉变换器和自蒸馏机制软化低纹理影响，在室内基准上达到新技术水平。
动态物体与流先验的利用
动态物体如车辆和行人会污染深度标签，SGDepth通过语义遮罩和检测算法学习移动对象的深度来避免干扰。FG-Depth则利用预训练Flow-Net的先验知识，通过流蒸馏损失和基于先验流的掩模来引导优化，在KITTI和NYU-Depth-v2上均达到领先效果，展示了流先验在提升深度估计中的价值。
Q&A
自监督单目深度估计中如何引入跨域语义信息？
通过度量学习方法和特征融合模块引入跨域语义信息，以提高几何表示，并在KITTI数据集上评估，在弱质地区和物体边界的监督限制下优于现有技术。
SGDepth方法如何避免动态物体对深度估计的干扰？
SGDepth通过交叉域训练避免移动车辆和行人等动态类别对象的干扰，利用异构网络头进行语义分割和深度估计，采用语义遮罩机制预防动态物体的污染，并引入检测算法学习移动类别对象的深度。
IndoorDepth如何解决室内低纹理区域的深度估计问题？
IndoorDepth提出了一种改进的结构相似（SSIM）功能的新颖光度损失函数来应对低纹理区域，并使用多个不同阶段的光度损失进行训练以构建更深的姿态网络，减轻不准确的自身运动预测问题。
FG-Depth框架如何利用流先验提升深度估计性能？
FG-Depth利用预训练的Flow-Net的先验知识来引导优化，提出了流蒸馏损失和基于先验流的掩模来提高模型性能以及消除噪声，在KITTI和NYU-Depth-v2数据集上达到了最领先的效果。
自监督深度估计和语义分割如何相互促进？
通过测量图像分割和深度之间的边界一致性，并通过贪婪法迭代监督网络来最小化这种一致性，从而提升两个任务的性能，在KITTI上提高了无监督单眼深度估计的最先进水平。
室内自监督单目深度估计面临哪些挑战，有哪些解决方案？
挑战主要集中在大面积低纹理区域和复杂的内部训练数据上。解决方案包括：利用多视图几何获取粗略相机姿态并通过旋转和平移/缩放优化改进姿态，使用全局推理的视觉变换器和迭代自蒸馏机制软化低纹理效果；采用曼哈顿法线约束和共面约束作为额外自监督信号；以及IndoorDepth提出的改进光度损失和多阶段训练。
