全景语义分割的多源领域适应
内容提要
本文提出了一种基于注意力机制的跨域全景语义分割框架，旨在解决360度车载相机图像的无监督学习问题。通过新数据集DensePASS和多种技术，显著提高了分割准确率，实验结果在多个基准测试中表现优异。
延伸解读
从针孔到全景：域适应的核心挑战
全景图像存在严重的几何畸变，与针孔图像差异显著，导致在针孔数据上训练的模型直接应用于全景时性能下降。本文通过无监督域适应，利用未标注全景图像，将知识从针孔域迁移到全景域，从而提升分割准确率。
DensePASS数据集：推动全景分割研究
DensePASS是一个密集标注的全景图像数据集，包含有标注和无标注图像，为全景语义分割的域适应研究提供了基准。该数据集的公开有助于解决该领域数据稀缺问题，促进方法对比与可重复研究。
技术演进：从P2PDA到360SFUDA++
文章梳理了多项技术进展：P2PDA引入注意力机制，Trans4PASS利用可变形模块增强鲁棒性，DPPASS通过双路径投影减少域差异，SFUDA和360SFUDA++则探索无源域适应。这些方法逐步提升了全景分割的mIoU，并在多个基准上验证了有效性。
性能提升与未来方向
实验显示，所提框架在标准分割网络上使Mean IoU提高6.05%至11.26%，在DensePASS上mIoU提升14.39%至56.38%。这些结果证明了域适应方法的有效性，但全景分割在复杂场景下的鲁棒性和泛化能力仍是未来研究的重点。
Q&A
全景语义分割的多源领域适应框架有什么创新之处？
该框架基于注意力机制，专门针对360度车载相机图像的无监督学习问题，显著提高了分割准确率。
DensePASS数据集的特点是什么？
DensePASS是一个密集标注的全景图像数据集，包含有标注和无标注的图像，旨在支持全景语义分割研究。
使用该框架后，分割准确率提高了多少？
在两个标准分割网络中，Mean IoU提高了6.05%到11.26%。
DPPASS框架是如何减少域差异的？
DPPASS框架通过交叉投影和内部投影训练来减少域差异，实现了超过1.06%的mIoU增量。
Trans4PASS神经网络结构的优势是什么？
Trans4PASS增强了对图像扭曲和物体畸变的鲁棒性，提升了全景图像的分割效果。
SFUDA方法在基准测试中的表现如何？
SFUDA方法在合成和真实世界基准测试中表现显著优于现有方法，提升了分割性能。
