量子位
·
纯靠“脑补”图像，大模型推理准确率狂飙80%丨剑桥谷歌新研究
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
剑桥、伦敦大学学院与谷歌的研究团队提出了一种新方法VPRL，通过图像进行推理，准确率高达80%。该方法利用强化学习优化视觉规划，显著优于传统文本推理，推动多模态推理向更直观的方向发展。
🎯
关键要点
-
剑桥、伦敦大学学院与谷歌的研究团队提出了一种新方法VPRL，通过图像进行推理，准确率高达80%。
-
VPRL利用强化学习优化视觉规划，显著优于传统文本推理，推动多模态推理向更直观的方向发展。
-
VPRL框架分为两个阶段：策略初始化和强化学习优化。
-
实验表明，视觉规划在所有任务上均优于文本规划，VPRL在三个任务中平均EM高达80.6%。
-
VPRL相比监督基线VPFT提升超20%，在复杂任务中表现尤为突出。
-
随着网格尺寸增大，VPRL性能下降平缓，展现出更强的稳定性。
-
VPRL将无效失败率降低了24%，帮助模型保持在有效的动作空间内。
-
研究团队长期致力于视觉推理研究，未来将继续推动多模态推理的发展。
❓
延伸问答
VPRL方法的主要创新点是什么？
VPRL方法通过纯图像进行推理，利用强化学习优化视觉规划，准确率高达80%，显著优于传统文本推理。
VPRL的训练框架分为哪两个阶段？
VPRL的训练框架分为策略初始化和强化学习优化两个阶段。
VPRL在复杂任务中的表现如何？
在复杂任务MiniBehavior中，VPRL的准确率（EM）高达75.8%，表现尤为突出。
VPRL与传统文本推理相比有哪些优势？
VPRL在所有任务上均优于文本推理，准确率提升至少40%，并且在鲁棒性和稳定性上表现更佳。
VPRL如何降低无效失败率？
VPRL将无效失败率降低了24%，帮助模型保持在有效的动作空间内。
未来VPRL的研究方向是什么？
研究团队将继续推动多模态推理的发展，探索更直观的图像化推理方式。
➡️
