本研究提出了Diff-Instruct*模型，旨在解决文本到图像生成模型与人类偏好之间的对齐问题。通过在线强化学习和散度正则化方法，该模型显著提升了生成图像的真实感和美观度，并在多个基准测试中超越了先前的领先模型。