晓飞的算法工程笔记
·
OOOPS：零样本实现360度开放全景分割，已开源 | ECCV'24 - 晓飞的算法工程笔记
💡
原文中文，约6300字，阅读约需15分钟。
📝
内容提要
论文提出开放全景分割（OPS）任务，解决全景图像分割问题。OPS在源领域用针孔图像训练，目标领域用全景图像评估。提出的OOOPS模型结合可变形适配器网络（DAN）和随机等矩形投影（RERP），提升了零样本全景语义分割性能。在WildPASS、Stanford2D3D和Matterport3D数据集上，OOOPS表现优异，提升了mIoU，为全景图像应用提供新方案。
🎯
关键要点
- 提出开放全景分割（OPS）任务，解决全景图像分割问题。
- OPS在源领域用针孔图像训练，目标领域用全景图像评估。
- 提出的OOOPS模型结合可变形适配器网络（DAN）和随机等矩形投影（RERP），提升了零样本全景语义分割性能。
- 在WildPASS、Stanford2D3D和Matterport3D数据集上，OOOPS表现优异，提升了mIoU。
- 全景成像系统在多种全景视觉应用中提供了更丰富的视觉线索。
- OPS任务解决了狭窄视场、类别范围限制和全景标签匮乏的问题。
- OOOPS模型通过冻结的CLIP模型和可变形适配器网络（DAN）提高全景建模能力。
- 随机等矩形投影（RERP）用于增强针孔源领域的失真感知建模能力。
- 在多个数据集上，OOOPS模型的mIoU分别提升了+2.2%、+2.4%和+0.6%。
➡️
