阐明文本到图像扩散模型中的最佳奖励-多样性权衡
内容提要
本文介绍了FineRewards方法，通过细粒度语义奖励提升文本与图像的匹配，优化扩散模型性能。同时提出了Diffusion-KTO和ReNO等新方法，利用人类反馈和噪音优化，提高文本到图像生成的质量和效率。这些方法在多个基准测试中表现优越，解决了与人类偏好不一致的问题。
延伸解读
细粒度奖励的互补性
FineRewards通过引入caption reward和SAM reward，分别从全局语义和局部区域两个视角提升文本与图像的匹配。这种细粒度设计使得模型在MS-COCO上优于单一奖励函数，且与现有图像奖励结合能进一步提升性能。这提示我们，多维度奖励的融合可能比单一奖励更有效，但需注意不同奖励之间的平衡与协调。
奖励过度优化的风险
TIA2基准揭示了当前奖励模型与人类评估的频繁不一致，且使用不良对齐的奖励模型进行微调会加剧过度优化，损害模型性能。TextNorm通过语义对比提示和置信度校准来缓解这一问题，在人类评估中取得两倍胜利。这提醒我们，在依赖奖励模型进行微调时，需警惕其与人类意图的偏差，并采取校准措施。
无需成对数据的对齐方法
Diffusion-KTO利用每张图像的二进制反馈（如赞或踩）而非昂贵的成对偏好数据，简化了对齐过程。实验表明，其性能优于监督微调和Diffusion-DPO。这为数据稀缺场景提供了新思路，但二进制信号的信息量有限，可能影响对齐精度，需权衡数据易得性与效果。
推理时优化的潜力
ReNO通过优化初始噪音来提升T2I模型推理性能，无需微调模型，在相同计算资源下超越现有开源模型。这凸显了噪音优化的高效性，为资源受限场景提供了可行方案。然而，其效果依赖于奖励模型的质量，且可能增加推理时间，需在实际应用中权衡。
Q&A
FineRewards方法是如何提升文本与图像的匹配的？
FineRewards方法通过引入caption reward和SAM reward两种细粒度语义奖励，从两个语义视角提升文本与图像的匹配，优化扩散模型性能。
Diffusion-KTO方法的主要优势是什么？
Diffusion-KTO方法通过简单的二进制反馈信号优化文本到图像扩散模型的对齐，避免了收集成对偏好数据的复杂性，表现出优越的性能。
ReNO方法如何提高文本到图像模型的推理性能？
ReNO方法通过优化初始噪音，基于人类偏好奖励模型的信号，提高文本到图像模型的推理性能，展现出高效性和有效性。
AlignProp方法的作用是什么？
AlignProp方法通过反向传播奖励梯度，简化了扩散模型与奖励函数的对齐过程，实现了更高的奖励和更少的训练步骤。
什么是Text-Image Alignment Assessment (TIA2)基准？
TIA2基准用于评估奖励模型与人类评估的一致性，由各种文本提示、图像和人类注释组成。
如何解决扩散模型与人类偏好不一致的问题？
通过引入强化学习算法和优化奖励函数，提升生成样本的组合性和多样性，从而解决扩散模型与人类偏好不一致的问题。
