分布迁移下基于目标中心学习的自举分割基础模型
内容提要
本文提出了多种新方法以提升无监督图像分割和生成效果，包括基于槽的注意力机制、自我训练方法和跨图像对象级引导。这些方法在多个数据集上表现优异，尤其在处理复杂图像时，显著提高了分割精度和生成质量。
延伸解读
槽数量选择的关键影响
文章指出，基于槽的方法中槽的数量选择对学习对象相关表示有显著影响。错误的槽数量会导致过度分割或不足分割，即一个对象被多个槽表示或一个槽覆盖多个对象。这提示研究者在应用此类方法时，需根据数据集和任务仔细调整槽数量，或探索自适应确定槽数量的机制，以提升分割质量。
跨图像对象级引导的优势
CrIBo方法通过对象级最近邻引导进行自监督表示学习，解决了场景中心数据集中多个物体仅在全局表示中隐含捕获的问题。这种细粒度引导避免了对象表示的纠缠，在密集视觉表示学习上表现优异，并在下游分割任务中具有竞争力。这表明对象级引导比全局引导更有效，尤其适用于复杂场景。
自我训练与补丁顺序排列的增强作用
文章引入基于注意力的自我训练方法，从解码器提取优越的槽注意力掩码来增强物体分割；同时提出自回归变换器中的补丁顺序排列策略，加强槽向量在重构中的作用。这些技术显著提升了非监督物体中心学习的效果，尤其在处理复杂真实图像时优于以往的槽自编码器方法。
少样本分割的提示学习进展
针对普适少样本分割（GFSS），文章提出利用少量样本学习视觉提示，并对多尺度Transformer解码器进行提示。通过单向因果关注机制连接新提示与基础提示，在提升新类性能的同时不损害基础类别。该方法在COCO-$20^i$和Pascal-$5^i$上达到最先进水平，且无需测试时间优化，展示了提示学习在少样本分割中的潜力。
Q&A
Bi-level Optimized Query Slot Attention方法的主要优势是什么？
该方法利用可学习的查询初始化Slot-Attention，配合双层优化，显著提升了无监督图像分割和重构的效果。
如何从无标签视频中学习物体分割？
通过视觉共同命运和物体出现统计进行特征学习，并基于视频内部和跨视频的外观分组进行细化。
SlotDiffusion模型在视觉生成方面的表现如何？
SlotDiffusion模型在六个数据集上表现优异，能够实现高质量的视觉生成，并适用于视频预测和时间推理任务。
CrIBo方法如何提高视觉表示学习的效果？
CrIBo通过对象级最近邻引导，在训练过程中增强密集视觉表示学习，显著提升了下游分割任务的性能。
BootPIG架构的主要功能是什么？
BootPIG架构增强了文本到图像生成模型的个性化能力，能够保持对象外观与文本提示的对齐。
在少样本情况下如何提高普适少样本分割的效果？
通过学习视觉提示并对Transformer解码器进行提示，结合单向因果关注机制，提升新提示的质量。
