OOOPS:零样本实现360度开放全景分割,已开源 | ECCV'24 - 晓飞的算法工程笔记
原文中文,约6300字,阅读约需15分钟。发表于: 。全景图像捕捉360°的视场(FoV),包含了对场景理解至关重要的全向空间信息。然而,获取足够的训练用密集标注全景图不仅成本高昂,而且在封闭词汇设置下训练模型时也受到应用限制。为了解决这个问题,论文定义了一个新任务,称为开放全景分割(Open Panoramic Segmentation,OPS)。在
论文提出开放全景分割(OPS)任务,解决全景图像分割问题。OPS在源领域用针孔图像训练,目标领域用全景图像评估。提出的OOOPS模型结合可变形适配器网络(DAN)和随机等矩形投影(RERP),提升了零样本全景语义分割性能。在WildPASS、Stanford2D3D和Matterport3D数据集上,OOOPS表现优异,提升了mIoU,为全景图像应用提供新方案。