本研究解决了文本到图像生成模型与人类偏好对齐的问题。通过在线强化学习和新颖的散度正则化方法，Diff-Instruct*显著提升了生成图像的真实感和美观度，超越了之前的领先模型。