无限生成视频，还能规划决策，扩散强制整合下一token预测与全序列扩散
内容提要
麻省理工学院计算机科学与人工智能实验室的研究团队提出了一种名为Diffusion Forcing（DF）的训练和采样范式，它结合了完整序列扩散和下一个标记预测模型的优势。DF在一致性和稳定性方面优于其他方法。框架中的每个标记都与随机噪声水平相关联，并使用共享的下一个标记预测模型对标记进行去噪。DF能够生成不同长度的序列并推广到新的轨迹。团队还将DF应用于序列决策，并取得了有希望的结果。DF在稳定序列生成、保持未来不确定性、长期引导和灵活奖励引导方面具有优势。团队在视频预测、扩散规划和模仿学习等各种应用中评估了DF，并发现DF是一个强大而多功能的序列模型。
延伸解读
核心创新：统一扩散与自回归
Diffusion Forcing 的核心在于将每个 token 关联独立的噪声水平，从而把加噪过程视为部分掩码。这统一了全序列扩散（沿噪声轴掩码）和下一 token 预测（沿时间轴掩码），使模型能灵活处理任意噪声水平的 token 集合。这种设计让模型既能像自回归模型一样生成变长序列，又能像扩散模型一样进行全序列去噪，从而在一致性和稳定性上超越传统方法。
实际优势：稳定生成与灵活决策
在视频预测中，DF 能稳定展开并超越训练范围，而教师强制和全序列扩散会快速发散。在决策任务中，DF 支持灵活的规划范围和奖励引导，并引入蒙特卡洛树引导（MCTG）提升高奖励采样率。在 D4RL 基准的 6 个环境中，DF 均优于 Diffuser 等基线。这些优势表明 DF 在需要长期一致性和不确定性的序列建模任务中具有实用潜力。
机器人应用：记忆整合与稳健控制
在机器人模仿学习中，DF 通过隐藏状态自然整合记忆，解决了无记忆策略难以完成长范围任务的痛点。例如，在 Franka 机器人交换水果的任务中，DF 达到 80% 成功率，而扩散策略完全失败。此外，DF 对噪声更稳健，并能助益预训练。这展示了 DF 在真实机器人视觉运动控制中的价值，尤其是需要记忆和适应性的场景。
局限与展望：通用序列模型的潜力
DF 在时间序列预测中也能与扩散模型和 Transformer 模型媲美，显示出作为通用序列模型的潜力。然而，文章未提及计算成本、训练数据需求或超参数敏感性等限制。未来研究可探索更高效的实现、扩展至更多模态，以及与其他序列建模方法的深入比较。总体而言，DF 为序列生成和决策提供了一种有前景的新范式。
Q&A
Diffusion Forcing（DF）是什么？
Diffusion Forcing（DF）是一种结合全序列扩散和下一token预测模型的训练和采样范式，旨在提高序列生成的一致性和稳定性。
DF在视频生成中的表现如何？
DF在视频生成任务中表现出色，能够稳定地展开生成序列，甚至超出训练范围，优于传统的教师强制和全序列扩散方法。
DF如何实现灵活的序列决策？
DF通过设计新的框架，结合马尔可夫决策过程，能够灵活地生成和规划序列，适用于机器人和自主智能体领域。
DF的因果扩散强制（CDF）模型有什么特点？
CDF模型依赖于过去的token，通过因果架构训练去噪所有token，能够稳定生成长度可变的序列。
DF在模仿学习中的优势是什么？
DF能够整合记忆，提升模仿学习的成功率，尤其在长范围任务中表现更为稳健，克服了传统方法的短板。
DF如何提升高奖励生成的采样率？
DF引入了蒙特卡洛树引导（MCTG），通过灵活的噪声调度和因果关系的协同利用，显著提升高奖励生成的采样率。
