阐明文本到图像扩散模型中的最佳奖励-多样性权衡
原文中文，约400字，阅读约需1分钟。发表于：。本研究针对文本到图像扩散模型在训练过程中产生的不安全和不符合人类偏好的图像问题，提出了一个新的解决方案。通过引入受启发的Annealed Importance Guidance (AIG) 正则化技术，我们在优化奖励的同时保留了生成图像的多样性，实验结果显示AIG可以有效提高图像的多样性和质量，从而实现奖励与多样性的最佳权衡。
使用人类反馈数据训练奖励函数来微调文本到图像模型，但过度优化奖励模型可能损害性能。引入Text-Image Alignment Assessment (TIA2)基准，评估奖励模型与人类评估的一致性。发现不良对齐的奖励模型导致过度优化。提出TextNorm方法，通过语义对比的文本提示增强对齐。在微调中整合置信度校准的奖励可减少过度优化，相对于基线模型，在人类评估中获得两倍胜利。
