多模态基于世界模型的通用型智能体
内容提要
本文探讨了视觉语言模型（VLMs）在强化学习中的应用，提出了一种新方法，通过将VLMs作为策略初始化工具，提升复杂任务中的表现。研究表明，基于VLMs的策略优于传统方法，展示了其在三维世界理解和交互中的潜力，推动了通用智能体的发展。
延伸解读
VLM作为策略初始化的优势
文章提出利用视觉语言模型（VLMs）的通用世界知识来初始化强化学习策略，而不是从零开始学习。在Minecraft和Habitat任务中，基于VLM的策略优于从通用非可提示图像嵌入训练的策略，也优于遵循指令的方法，并与领域特定嵌入效果相当。这表明VLM的预训练知识能有效迁移到复杂视觉任务中，提升学习效率。
VLM作为奖励来源的可行性
文章探讨了使用VLM作为强化学习代理的奖励来源，通过CLIP模型家族生成语言目标的视觉成就奖励，并在两个视觉领域训练RL代理。结果显示，更大的VLM能提供更准确的奖励，从而产生更有能力的代理。这为复杂任务中无需人工设计奖励提供了新思路，但奖励的准确性和泛化性仍需进一步验证。
通用智能体LEO与EMMA的进展
文章介绍了两个通用智能体：LEO通过三维视觉语言对齐和行动指导调整，在三维字幕、问答、导航和操作等任务中表现出色；EMMA则将LLM的反思结果融入视觉任务，在ALFWorld基准上快速适应视觉动态。这些工作展示了多模态模型在三维世界理解和交互中的潜力，但训练所需的大规模数据集和计算资源可能限制其广泛应用。
基础强化学习（FRL）新范式
文章提出Foundation Reinforcement Learning（FRL）学习范式，完全依赖具身基础先验进行探索、学习和强化，以实现通用型智能体。同时，预训练VLM作为无样本奖励模型，通过单个句子文本提示即可训练MuJoCo仿真人完成复杂任务。这预示着VLM在强化学习中的奖励建模作用将日益重要，但当前方法在真实世界任务中的有效性仍需验证。
Q&A
什么是视觉语言模型（VLMs）在强化学习中的作用？
视觉语言模型（VLMs）被用作策略初始化工具，提升强化学习代理在复杂任务中的表现。
LEO代理人是如何训练的？
LEO代理人通过三维视觉语言对齐和三维视觉语言行动指导调整两个阶段进行训练。
基于VLMs的策略在Minecraft和Habitat任务中的表现如何？
基于VLMs的策略在Minecraft和Habitat任务中表现优于传统方法。
Foundation Reinforcement Learning（FRL）学习范式是什么？
FRL是一种依赖基础先验进行探索和学习的学习范式，旨在实现具身化的通用型智能体。
EMMA代理人是如何适应视觉世界的？
EMMA通过将大型语言模型的反思结果融入视觉任务，快速适应视觉世界的动态。
使用VLMs作为奖励来源的可行性如何？
研究表明，使用VLMs作为奖励来源能够训练出更有能力的强化学习代理。
