反馈高效在线微调扩散模型
内容提要
扩散模型与强化学习结合成为新兴方向。DDPO等算法直接优化扩散模型以提升图像质量、药物效果及人类偏好对齐；RGDM、DPOK、SPIN-Diffusion分别用于可控生成、文本到图像微调和模型细化。扩散模型也用于序列决策与规划，如Merlin实现目标导向决策。综述梳理了相关分类、应用与挑战。
延伸解读
扩散模型与强化学习的结合动机
扩散模型在生成质量上表现突出，但直接优化下游目标（如人类偏好、药物效果）存在困难。强化学习提供了一种直接优化奖励函数的途径，使扩散模型能够超越单纯的最大似然训练，对齐人类感知或特定任务目标。DDPO等算法正是这一思路的代表，通过类策略梯度方法微调扩散模型。
主要算法与应用场景
文章提及多种算法：DDPO用于提升图像质量和药物效果；RGDM通过RL引导训练实现可控生成；DPOK将策略优化与KL正则化结合，微调文本到图像模型；SPIN-Diffusion通过自我对抗调优细化模型。这些方法覆盖了图像生成、分子设计、文本到图像等任务，展示了扩散模型与RL结合的多样性。
扩散模型在序列决策中的角色
扩散模型也被用于序列决策与规划。例如，Merlin利用扩散过程构建从目标状态扩散的轨迹，学习目标条件策略，实现从任意初始状态到达目标。这种方法在离线目标达成任务中表现出简单、可扩展的特点，为强化学习中的长期规划提供了新思路。
当前挑战与未来方向
综述指出，扩散模型与强化学习的结合仍面临挑战，如奖励崩溃、对不完美奖励模型的过度优化等。未来研究需关注如何提高样本多样性、避免过度优化，并将扩散模型应用于更广泛的任务。文章还提到维护GitHub仓库以跟踪相关进展，表明该领域发展迅速。
Q&A
DDPO 是什么？它如何改进扩散模型？
DDPO 是去噪扩散策略优化，一种类策略梯度算法，通过强化学习直接优化扩散模型，以提升人类感知的图像质量和药物效果等下游目标。
DPOK 和 SPIN-Diffusion 在文本到图像微调中有什么不同？
DPOK 使用在线强化学习微调文本到图像模型，集成策略优化和 KL 正则化；SPIN-Diffusion 通过自我对抗调优技术细化扩散模型，超越常规监督式细调和强化学习方法。
扩散模型如何用于序列决策和规划？
扩散模型通过迭代去噪将随机噪声映射到目标流形，用于序列决策和规划。例如 Merlin 方法利用扩散过程构建轨迹，学习目标条件策略，从任意初始状态到达目标。
RGDM 模型的主要贡献是什么？
RGDM 通过强化学习引导扩散模型的训练阶段，实现对样本生成的控制，在 3D 形状和分子生成任务上比现有条件扩散模型有显著改进。
扩散模型与强化学习结合面临哪些挑战？
挑战包括奖励崩溃问题、对不完美奖励模型的过度优化，以及如何提高生成样本的组合性和多样性等。
有哪些方法可以解决扩散模型与人类偏好不一致的问题？
可以使用强化学习算法如 DDPO 直接优化扩散模型，以人类偏好等奖励函数进行微调，从而提高生成样本的组合性和多样性，解决不一致问题。
