量子位
·
豆包团队视频生成新突破：无需语言模型，仅凭“视觉”就能学习复杂任务
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
豆包团队推出VideoWorld模型，利用纯视觉信号学习复杂任务，无需语言模型。该模型通过潜在动态模型压缩视频帧间变化，提高学习效率，已在围棋和机器人任务中取得优异表现。尽管面临真实环境的挑战，团队仍致力于将其发展为通用知识学习工具。
🎯
关键要点
- 豆包团队推出VideoWorld模型，利用纯视觉信号学习复杂任务，无需语言模型。
- VideoWorld通过潜在动态模型压缩视频帧间变化，提高学习效率，已在围棋和机器人任务中取得优异表现。
- 该模型在不依赖强化学习搜索或奖励机制的情况下，达到了专业5段9×9围棋水平。
- 团队构建了围棋对战和机器人模拟操控两个实验环境，评估模型的学习和推理能力。
- VideoWorld引入潜在动态模型（LDM），压缩帧间视觉变化，提高知识挖掘效率。
- LDM建模了训练集的数据模式，帮助模型进行前向规划，提升决策能力。
- 尽管VideoWorld在特定环境中表现优秀，但在真实世界应用中仍面临挑战。
- 豆包大模型团队成立于2023年，致力于开发先进的AI大模型技术。
❓
延伸问答
VideoWorld模型的主要创新点是什么？
VideoWorld模型的主要创新点在于它利用纯视觉信号学习复杂任务，无需依赖语言模型，通过潜在动态模型压缩视频帧间变化，提高学习效率。
VideoWorld在围棋和机器人任务中的表现如何？
VideoWorld在围棋任务中达到了专业5段9×9的水平，并在机器人任务中展现了良好的学习和推理能力。
潜在动态模型（LDM）在VideoWorld中起什么作用？
LDM在VideoWorld中用于压缩帧间视觉变化，提高知识挖掘效率，并帮助模型进行前向规划，提升决策能力。
豆包团队成立的背景是什么？
豆包团队成立于2023年，致力于开发先进的AI大模型技术，目标是成为世界一流的研究团队。
VideoWorld模型面临哪些挑战？
VideoWorld模型在真实世界应用中面临高质量视频生成和多环境泛化等挑战。
VideoWorld如何进行任务学习？
VideoWorld通过训练一个包含大量视频演示数据的离线数据集，学习任务相关的映射函数，将生成的视频帧转换为任务执行所需动作。
➡️
