Ref-Diff: 通过生成模型实现的零样本参考图像分割

本文介绍了基于文本和图像结合模型的生成分类方法，利用扩散模型提供的条件概率密度估计，实现了零样本分类，并在多种基准测试上获得强大的结果。与对比差异对比性方法相比，扩散方法在多模式关系推理方面具有更强的能力，并且即使在弱增强和没有正则化的情况下，基于图像的扩散模型也能取得与训练于同一数据集的判别分类器相近的性能。