任务成功并不足够：调查使用视频 - 语言模型作为行为批评家以捕捉不良代理行为
内容提要
视觉语言模型（如CLIP）可作为强化学习的奖励来源，为智能体提供语言目标奖励，并结合半监督标签与HER技术，使其学习对象交互和长期规划。在Minecraft、Habitat及真实机器人任务中，基于VLM的策略优于指令跟随方法，数据效率提升一个数量级。
延伸解读
VLM作为奖励模型：从仿真到真实世界的可行性
文章梳理了多项研究，表明视觉语言模型（如CLIP）可作为强化学习的奖励来源，为智能体提供语言目标奖励。在MuJoCo仿真中，仅需单个句子提示即可训练人形完成复杂任务；在Minecraft、Habitat及真实机器人任务中，基于VLM的策略优于指令跟随方法，数据效率提升一个数量级。这显示VLM有潜力成为通用的奖励模型，但当前证据多来自特定任务，泛化能力仍需验证。
半监督学习与HER：提升数据效率的关键技术
文章提到，结合半监督语言标签和HER（后见之明体验回放）技术，能有效利用未标记数据，使智能体学习对象交互和长期规划。例如，DIAL方法将知识传播到大型未标记数据集，使模仿学习策略泛化到60个新指令；HER则帮助智能体从失败经验中学习。这些技术共同作用，让VLM-based策略在少量数据下达到较好效果，但依赖高质量视觉语言模型。
当前局限与未来方向：从基准测试到真实世界差距
文章指出，Video-LLM评估基准显示当前模型在理解真实世界视频方面与人类仍有差距。尽管VLM在机器人任务中展现出潜力，如GPT-4V增强具身规划，但多数实验在仿真或受限环境进行。真实世界中非结构化、离线数据的学习虽已实现长期任务，但泛化性和鲁棒性仍是挑战。未来需更全面的基准和更大规模VLM来缩小差距。
Q&A
视觉语言模型在强化学习中如何作为奖励模型使用？
视觉语言模型（如CLIP）可以作为无样本奖励模型，通过单个句子文本提示指定任务，为强化学习代理提供语言目标的视觉成就奖励，从而训练代理完成复杂任务。
DIAL方法如何利用半监督语言标签提升模仿学习策略？
DIAL利用半监督的语言标签，结合CLIP的语义理解，将知识传播到大型未标记数据集中，并在增强数据集上训练语言条件策略，使模仿学习策略获得新能力，并推广到原始数据集中未见过的60个新指令。
在Minecraft和Habitat任务中，基于VLM的策略相比指令跟随方法有什么优势？
基于VLM的策略在Minecraft和Habitat任务中表现更好，优于指令跟随方法，并且数据效率提升一个数量级。
如何利用视觉语言模型和HER技术让智能体学习与对象交互？
通过少量提示和后见之明体验回放（HER）技术，利用预训练的视觉语言模型监督具有目的地行动的体验型智能体，使其学习抽象类别的成员资格以及与特定任务相关的语境，从而学会与不同类别的对象交互。
ViLa方法是什么？它如何结合视觉语言模型和长期规划？
ViLa（Robotic Vision-Language Planning）是一种新方法，结合视觉语言模型和长期规划，通过直接整合感知数据生成可行步骤序列，在广泛的开放世界操纵任务中展示优势。
基于视觉语言感知模型的方法在真实世界机器人技能学习中有什么效果？
该方法可以从非结构化、离线、无需重置的数据中高效学习通用的、以语言为条件的机器人技能，配合LLMs可以在真实世界完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。
