多视差一致性过滤的引导式单目深度估计的立体匹配知识
内容提要
该文综述单目深度估计的自监督学习方法：以立体匹配网络为代理，从合成数据学习深度，并用预测视差图监督单目网络，结合多种迁移策略提升跨域泛化能力。相关研究包括反向循环优化、信息蒸馏、稀疏点共识、伪深度图与门限网络、学生-教师策略、Depth Hints 及双目对极约束等，在 KITTI 等数据集上达到领先水平。
延伸解读
立体匹配作为代理：自监督单目深度的核心思路
文章梳理的多项研究均以立体匹配网络为代理，从合成数据学习深度，再用预测视差图监督单目网络。这一思路的关键在于利用双目图像间的对极约束生成视差，替代昂贵的激光真实深度。其中2016年的工作已证明，用双目立体视觉图像替代监督式回归训练，可在KITTI上超过基于真实深度训练的方法，说明代理监督的可行性。
跨域泛化：从合成数据到真实场景的迁移策略
文章强调不同策略确保深度感知能力跨域转移。2019年3月的框架通过反向循环优化和信息蒸馏提升性能；2020年8月的方法利用稀疏点共识机制估计密集视差，对域偏移有显著泛化能力；2020年9月则用门限网络调整伪深度图，并结合像素自适应卷积提高精度。这些策略共同指向一个目标：减少合成数据与真实数据间的分布差异。
训练信号设计：从光度重投影到立体置信度
文章列举了多种改进训练信号的方法。Depth Hints通过加入简单立体算法的参考感知，补充光度重投影代价函数；学生-教师策略结合数据集成和立体信心引导回归损失；还有研究利用左右视差图互相匹配和校准的新目标函数。这些设计都旨在提升监督信号的可靠性，从而在KITTI等数据集上取得领先结果，并可用于估计深度图的不确定性。
Q&A
单目深度估计的自监督学习方法中，立体匹配网络作为代理是如何工作的？
该方法使用立体匹配网络作为代理，从合成数据中学习深度，并用预测的立体视差图来监督单目深度估计网络。通过不同策略确保学习到的深度感知能力在不同领域之间得到很好的转移。
有哪些策略可以提升单目深度估计的跨域泛化能力？
文章提到了多种策略，包括反向循环优化、信息蒸馏、稀疏点共识、伪深度图与门限网络、学生-教师策略、Depth Hints 以及双目对极约束等，这些策略有助于提升跨域泛化能力。
基于双目对极约束的单目深度估计方法有什么优势？
该方法利用同一场景下两个视点的对极约束生成视差图，并使用新的训练目标函数结合左右视差图像互相匹配和校准，提高了深度估计性能，在 KITTI 数据集上甚至超过了基于真实深度训练的监督式方法。
Depth Hints 方法是如何改进自监督单目深度估计的？
Depth Hints 通过加入来自简单立体算法的参考感知，补充了光度学重投影代价函数，从而在不需要昂贵激光扫描数据的情况下，提高了训练深度估计网络时的深度预测精度，并在 KITTI 数据集上取得了最优预测效果。
学生-教师策略在单目深度估计中有什么应用？
学生-教师策略结合数据集成和立体信心引导回归损失，可以提高单目深度估计的精度，并用于高级视觉任务，如室外场景的驾驶情境等。
这些自监督单目深度估计方法在哪些数据集上进行了评估？
文章中提到的方法主要在 KITTI 数据集上进行了评估，部分方法还在 ETH3D、Middlebury 和 Make3D 等数据集上表现出色。
