💡
原文中文，约5200字，阅读约需13分钟。
📝
内容提要
麻省理工学院计算机科学与人工智能实验室的研究团队提出了一种名为Diffusion Forcing（DF）的训练和采样范式，它结合了完整序列扩散和下一个标记预测模型的优势。DF在一致性和稳定性方面优于其他方法。框架中的每个标记都与随机噪声水平相关联，并使用共享的下一个标记预测模型对标记进行去噪。DF能够生成不同长度的序列并推广到新的轨迹。团队还将DF应用于序列决策，并取得了有希望的结果。DF在稳定序列生成、保持未来不确定性、长期引导和灵活奖励引导方面具有优势。团队在视频预测、扩散规划和模仿学习等各种应用中评估了DF，并发现DF是一个强大而多功能的序列模型。
🎯
关键要点
- 麻省理工学院的研究团队提出了一种新的训练和采样范式：Diffusion Forcing（DF）。
- DF结合了全序列扩散和下一token预测模型的优势，在一致性和稳定性方面表现优越。
- DF框架中每个token与随机噪声水平相关联，使用共享的下一token预测模型进行去噪。
- DF能够生成不同长度的序列，并能推广到新的轨迹。
- DF在视频预测、扩散规划和模仿学习等应用中表现出色。
- DF的因果扩散强制（CDF）模型通过因果架构依赖于过去token，训练时去噪所有token。
- CDF在采样期间能够稳定生成长度可变的序列，且表现稳定。
- DF引入了蒙特卡洛树引导（MCTG），提升了高奖励生成的采样率。
- DF框架可用于灵活的序列决策，适用于机器人和自主智能体领域。
- DF在视频生成、扩散规划和模仿学习等多种应用中评估表现优越，尤其在长范围任务中展现出色的记忆整合能力。
➡️
