SGFormer：用于 360 深度估计的球面几何变换器
内容提要
本文介绍了多种基于变压器的全景深度估计和语义分割方法，如 PanoFormer、EGformer 和 DATFormer。这些方法通过引入球面几何知识和自适应模块，显著提高了深度估计的准确性和鲁棒性，实验结果在多个数据集上表现优异。
延伸解读
全景深度估计的技术演进
文章梳理了从2019年到2024年多个基于Transformer的全景深度估计方法，如PanoFormer、EGformer、DATFormer等。这些方法的核心挑战在于处理360°图像投影带来的几何失真。通过引入球面几何先验、可变形模块或注意力偏置，模型能更好地适应全景结构。读者可以从中看到该领域从简单应用Transformer到深度融合球面几何知识的趋势。
球面几何与注意力机制的结合
多个方法强调将球面几何知识融入注意力机制。例如，EGformer利用全景图几何作为局部注意力的偏置，PanoFormer使用切向补丁和可学习token流。这种结合使模型在扭曲的等距柱状投影图像上仍能保持全局感知能力。对于研究者而言，这提示了设计全景任务模型时，显式编码几何先验可能比单纯增加数据或模型容量更有效。
跨任务与跨模态的扩展性
文章提到这些方法不仅用于深度估计，还扩展到语义分割、显著性检测和立体图像去噪等任务。例如，PanoFormer可扩展至语义全景分割，Spherical Transformer方法在球形MNIST和3D物体分类上也有应用。这表明球面几何变换器具有较好的通用性，能够处理多种球面数据。读者可以关注这种架构在更多全景视觉任务中的迁移潜力。
性能与效率的权衡
EGformer在取得最佳深度结果的同时，计算成本和参数最低，这体现了效率与性能的平衡。而Trans4PASS在无监督域自适应中，仅用不到1400张标记全景图像就达到与全监督方法可比的性能，并在DensePASS上提升mIoU 14.39%。这些结果说明，针对全景几何的优化设计可以在不显著增加计算负担的情况下提升模型表现，对实际部署有参考价值。
Q&A
PanoFormer 是什么，它的主要优势是什么？
PanoFormer 是一种全景深度估计方法，通过切向补丁和可学习的 token 流提高感知能力，实验结果显示其性能优于现有的 SOTA 方法。
EGformer 如何实现对扭曲图像的深度估计？
EGformer 利用全景图几何作为局部注意力偏置，使得局部注意力在全局范围内提取，从而实现对扭曲图像的深度估计。
DATFormer 解决了什么问题？
DATFormer 通过引入变形自适应模块解决了 360° 数据投影导致的特征失真问题，并在多个数据集上表现优越。
SalViT360 模型的创新之处是什么？
SalViT360 模型利用切线图像表示和时空自注意机制，提出了一种有效的全景视频理解方法，实验证明其在多个数据集上表现优异。
SPFormer 如何提高模型的稳健性和可解释性？
SPFormer 通过自适应划分增强超像素表示，有效捕捉复杂细节，从而显著提高模型的稳健性和可解释性。
这些基于变压器的方法在深度估计上有什么共同点？
这些方法都通过引入球面几何知识和自适应模块来提高深度估计的准确性和鲁棒性。
