Any360D: 利用无标签的 360 数据和 Möbius 空间增强实现全景深度
内容提要
本研究提出了一种基于未标记360度数据的深度估计框架，通过六面立方体投影生成伪标签，显著提高了深度估计的准确性。扩展数据集和辅助监督方法增强了模型的泛化能力，并在多个数据集上验证了其有效性。此外，DATFormer模型有效解决了360度数据投影的特征失真问题，表现优越。
延伸解读
伪标签策略如何降低标注成本
文章提出利用六面立方体投影从无标签360度数据生成伪标签，从而避免昂贵的人工标注。这种方法能高效地为大规模360度图像提供深度监督信号，尤其适合虚拟现实和自主导航等需要密集深度信息的场景。通过自动注释约62M未标记数据，模型的数据覆盖范围显著扩大，为提升泛化能力奠定了基础。
辅助监督与语义先验的继承
为了不让模型仅依赖伪标签的几何信息，研究引入辅助监督方法，强制模型从预训练编码器中继承丰富的语义先验知识。这有助于模型在深度估计时理解场景内容，而不仅仅是局部纹理。结合大规模数据扩展，该策略在零样本场景下表现出更强的泛化能力，并在多个公开数据集上验证了有效性。
DATFormer 应对投影失真的思路
360度图像通常需要投影到平面进行处理，但这一过程会引入特征失真。DATFormer通过引入变形自适应模块和学习关系矩阵，针对投影导致的失真进行校正。文章指出，该模型在三个公开数据集上的2D和360度突出物检测任务中均表现出优越性，说明其能更有效地处理全景数据的几何特性。
Q&A
什么是基于未标记360度数据的深度估计框架？
该框架通过六面立方体投影生成伪标签，以高效标注360度图像的深度，显著提高深度估计的准确性。
如何提高深度估计的准确性？
通过使用未标记数据生成伪标签和设计数据引擎扩大数据集，显著提高了深度估计的准确性，尤其是在零样本情况下。
DATFormer模型的主要优势是什么？
DATFormer模型有效解决了360度数据投影的特征失真问题，并在多个公开数据集上表现优越。
研究中如何增强模型的泛化能力？
通过收集并自动注释约62M的未标记数据，以及开发辅助监督方法，增强了模型的泛化能力。
该研究在零样本情况下的表现如何？
研究表明，在零样本情况下，深度估计的准确性有显著提高，展示了模型的强大泛化能力。
如何评估该深度估计框架的有效性？
通过在多个公共数据集和随机捕获的照片上进行广泛评估，验证了该框架的有效性。
