将文本到图像扩散模型与奖励反向传播对齐

本研究发现扩散模型生成的描述可以提高文本图像对齐和模型交叉注意力图，从而提高知觉性能。该方法在ADE20K和NYUv2数据集上改进了语义分割和深度估计模型。同时，该方法适用于跨领域环境，可以通过模型个性化和标题修改来改善非对齐基准的性能。在Pascal VOC和Cityscapes数据集上训练的目标检测和分割方法实现了最佳结果。