pix2gestalt: 合成整体的非物质分割
内容提要
该文综述不完全图像分割，即预测可见与遮挡部分的完整掩膜。作者利用3D数据构建自动流程生成真值，提出两种架构，在COCOA和新MP3D-Amodal数据集上取得最优结果。相关进展包括非模态全景分割、APSNet、C2F-Seg、SeGAN及扩散修复等方法。
延伸解读
非模态分割的挑战与意义
非模态分割要求预测物体被遮挡部分的完整掩膜，这比传统可见区域分割更具挑战性。文章指出，该任务在自动驾驶等场景中尤为重要，因为被遮挡的行人或车辆可能突然出现，完整分割有助于提升安全性。pix2gestalt 通过利用 3D 数据自动生成真值，为训练模型提供了大规模监督，推动了该领域的发展。
自动真值生成管道
文章利用 3D 数据构建自动管道，生成部分遮挡物体的非模态真值分割掩膜。这种方法避免了人工标注的高成本和不一致性，能够大规模生成高质量训练数据。基于此，作者提出了两种架构变体，并在 COCOA 和新 MP3D-Amodal 数据集上取得了最优性能，证明了自动管道的有效性。
相关方法对比
文章综述了非模态分割的相关进展，包括非模态全景分割、APSNet、C2F-Seg、SeGAN 及扩散修复等方法。这些方法从不同角度解决遮挡问题：APSNet 显式建模遮挡关系，C2F-Seg 采用由粗到细策略，SeGAN 联合优化分割与生成。pix2gestalt 与这些工作共同推动了非模态分割技术的发展。
Q&A
什么是不完全图像分割？
不完全图像分割是指预测包括可见和不可见（被遮挡）部分的完整对象分割掩膜的任务。
pix2gestalt 如何生成不完全分割的真值？
pix2gestalt 使用 3D 数据构建了一个自动管道，来确定真实的部分遮挡对象的不完全真值分割掩膜。
pix2gestalt 提出了哪些架构变体？
pix2gestalt 通过两种架构变体探索了在野外处理不完全完成任务的方法。
pix2gestalt 在哪些数据集上取得了最新最好性能？
pix2gestalt 在 COCOA 和新的 MP3D-Amodal 数据集上取得了最新的最好性能。
非模态全景分割任务是什么？
非模态全景分割旨在同时预测 stuff 类可见区域的像素级别语义分割标签和 thing 类可见区域以及遮挡区域的实例分割标签。
APSNet 模型有什么特点？
APSNet 模型显式地建模了遮挡物和被遮挡物的复杂关系，并在 KITTI-360-APS 和 BDD100K-APS 基准测试上达到了最先进的性能。
C2F-Seg 方法解决了什么挑战？
C2F-Seg 通过逐步建模视觉特征和粗略预测分割的精细信息，解决了涉及对象可见和遮挡部分的不完全分割的挑战。
SeGAN 方法如何实现物体外观补全？
SeGAN 通过联合优化分割和生成可见无法覆盖的部位的像素及颜色，实现物体外观的完整还原。
