麻省理工学院CSAIL开发了一种名为“Diffusion Forcing”的序列模型训练技术,结合扩散模型和教师强制的优点。该方法通过对标记添加噪声,实现灵活的序列生成,提升视频质量和机器人决策精度。实验显示其能忽略误导数据,生成稳定视频,并在迷宫任务中表现优异。研究团队计划扩大数据集并使用最新Transformer模型以提高性能。
麻省理工学院计算机科学与人工智能实验室的研究团队提出了一种名为Diffusion Forcing(DF)的训练和采样范式,它结合了完整序列扩散和下一个标记预测模型的优势。DF在一致性和稳定性方面优于其他方法。框架中的每个标记都与随机噪声水平相关联,并使用共享的下一个标记预测模型对标记进行去噪。DF能够生成不同长度的序列并推广到新的轨迹。团队还将DF应用于序列决策,并取得了有希望的结果。DF在稳定序列生成、保持未来不确定性、长期引导和灵活奖励引导方面具有优势。团队在视频预测、扩散规划和模仿学习等各种应用中评估了DF,并发现DF是一个强大而多功能的序列模型。
该论文介绍了一种名为Diffusion Forcing的新训练范例,通过扩散模型去噪一组标记。该方法将下一个标记预测模型的优点与完全序列扩散模型的优势相结合,提供了额外的功能,并在决策和规划任务中提升性能。
完成下面两步后,将自动完成登录并继续当前操作。