Ref-Diff: 通过生成模型实现的零样本参考图像分割
原文中文，约300字，阅读约需1分钟。发表于：。本研究提出了一种用于零样本参照图像分割的新型方法 Ref-Diff，它利用生成模型中的细粒度多模态信息，证明仅凭生成模型的性能可以与现有的 SOTA 弱监督模型相媲美，并且当将生成模型与判别模型结合时，我们的 Ref-Diff 显著优于其他方法，证明生成模型对于该任务也是有益的，可为更好的参照分割提供补充。
本文介绍了基于文本和图像结合模型的生成分类方法，利用扩散模型提供的条件概率密度估计，实现了零样本分类，并在多种基准测试上获得强大的结果。与对比差异对比性方法相比，扩散方法在多模式关系推理方面具有更强的能力，并且即使在弱增强和没有正则化的情况下，基于图像的扩散模型也能取得与训练于同一数据集的判别分类器相近的性能。
