视觉语言模型（如CLIP）可作为强化学习的奖励来源，为智能体提供语言目标奖励，并结合半监督标签与HER技术，使其学习对象交互和长期规划。在Minecraft、Habitat及真实机器人任务中，基于VLM的策略优于指令跟随方法，数据效率提升一个数量级。

视觉语言模型（如CLIP）可作为强化学习的奖励来源，为语言目标提供视觉成就奖励，训练RL代理完成复杂任务。结合少量提示与HER技术，智能体能学会与不同对象交互。LLaRP方法将大语言模型用作可推广策略，成功率提升1.7倍。语言还能增强状态抽象与世界模型学习，提升视觉控制的泛化性。