视觉语言模型为强化学习提供可提示的表示
内容提要
视觉语言模型（如CLIP）可作为强化学习的奖励来源，为语言目标提供视觉成就奖励，训练RL代理完成复杂任务。结合少量提示与HER技术，智能体能学会与不同对象交互。LLaRP方法将大语言模型用作可推广策略，成功率提升1.7倍。语言还能增强状态抽象与世界模型学习，提升视觉控制的泛化性。
延伸解读
VLM作为奖励模型：从CLIP到RL代理
文章指出，预训练的视觉语言模型（如CLIP）可作为无样本奖励模型，通过单个句子文本提示训练MuJoCo仿真人完成复杂任务。这展示了从CLIP模型家族中得到各种语言目标的视觉成就奖励，并用于训练能够实现各种语言目标的RL代理。随着VLMs规模增大，视觉目标成就奖励更准确，从而产生更有能力的RL代理。
少量提示与HER：让智能体学会与不同对象交互
文章提出一种利用预训练VLMs监督具有目的地行动的体验型智能体的新方式。通过少量提示和后见之明体验回放（HER）技术，智能体可以学习抽象类别的成员资格以及与特定任务相关的语境，在利用因特网规模的VLMs的通用语言基础的同时完成语言建模。这有助于智能体学会与不同类别的对象交互。
LLaRP：LLM作为可推广策略，成功率提升1.7倍
文章介绍了一种名为LLaRP的方法，通过大型语言模型（LLM）以及强化学习技术，使LLM可以作为具有推广性的策略应用于具体视觉任务中。该方法能够忽略任务指令的复杂改写并生成新的最佳行为，在未见过的任务中达到了其他常见学习基线或零样本LLM应用的1.7倍成功率，并发布了名为“Language Rearrangement”的新基准测试数据集。
语言增强状态抽象与世界模型学习
文章提到，通过语言为鲁棒的动作选择增强状态抽象技术，利用语言为基础的视觉特征来改进强化学习中的世界模型学习，可以提高对于复杂任务中的视觉控制的推广性。此外，将语言作为核心推理工具嵌入强化学习代理，能够处理有效的探索、重用经验数据、调度技能以及从观察中学习等挑战，从而改进在模拟机器人操作环境中的性能。
Q&A
视觉语言模型如何为强化学习提供奖励信号？
视觉语言模型（如CLIP）可以作为无样本奖励模型，通过单个句子文本提示指定任务，为语言目标提供视觉成就奖励，从而训练强化学习代理完成复杂任务。
LLaRP方法是什么？它有什么效果？
LLaRP是一种利用大型语言模型作为可推广策略的方法，能够忽略任务指令的复杂改写并生成新的最佳行为，在未见过的任务中达到了其他常见学习基线或零样本LLM应用的1.7倍成功率。
如何让强化学习智能体学会与不同类别的对象交互？
通过利用预训练的视觉语言模型监督具有目的地行动的体验型智能体，并结合少量提示和后见之明体验回放（HER）技术，可以使智能体学习抽象类别的成员资格以及与特定任务相关的语境。
语言如何帮助强化学习提高泛化性？
语言可以增强状态抽象和世界模型学习，通过语言为基础的视觉特征改进强化学习中的世界模型学习，从而提高对于复杂任务中视觉控制的泛化性。
视觉语言模型在强化学习中的未来趋势是什么？
未来的视觉语言模型将在广泛的强化学习应用中成为更加有用的奖励模型，更大的VLMs能提供更准确的视觉目标成就奖励，从而产生更有能力的RL代理。
语言模型如何作为核心推理工具应用于强化学习？
通过将语言模型和视觉语言模型嵌入强化学习代理，设计框架将语言作为核心推理工具，能够处理有效的探索、重用经验数据、调度技能以及从观察中学习等挑战，从而改进模拟机器人操作环境中的性能。
