本文总结了两篇使用RLHF微调diffusion的论文。第一篇论文介绍了DDPO方法，通过多步决策问题进行去噪，并使用策略梯度算法进行优化。实验结果显示，DDPO优于RWR。第二篇论文提出了DPOK方法，将策略优化与KL正则化相结合，通过在线强化学习微调文本到图像的模型。实验结果显示，DPOK能够实现文本-图像对齐并保持高图像保真度。