EC-Depth:在具有挑战性场景下探索自监督单目深度估计的一致性

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文提出了一种单目深度估计器SC-Depth,可以使用未标记的视频进行训练,并能在推理时实现尺度一致的预测。该方法包括几何一致性损失、自动定位移动对象的自我发现掩码等组件,通过详细的消融研究证明了每个组件的功效,并展示了在KITTI和NYUv2数据集中高质量的深度估计结果。此外,该方法可以轻松地集成到ORB-SLAM2系统中以实现更强大和准确的跟踪。提出的混合Pseudo-RGBD SLAM在KITTI中具有很强的性能,并且在没有额外训练的情况下很好地推广到KAIST数据集。最后,提供了几个演示以进行定性评估。

🎯

关键要点

  • 提出了一种单目深度估计器SC-Depth,使用未标记的视频进行训练。

  • SC-Depth在推理时实现尺度一致的预测。

  • 引入几何一致性损失,惩罚相邻视角之间预测深度的不一致性。

  • 提出自动定位移动对象的自我发现掩码,处理训练中的噪声信号。

  • 通过消融研究证明了各个组件的功效,展示了在KITTI和NYUv2数据集上的高质量深度估计结果。

  • SC-Depth可以轻松集成到ORB-SLAM2系统中,增强跟踪的强大性和准确性。

  • 混合Pseudo-RGBD SLAM在KITTI数据集中表现优异,并能无额外训练推广到KAIST数据集。

  • 提供了多个演示以进行定性评估。

➡️

继续阅读