校准的自我奖励视觉语言模型
内容提要
本研究探讨了视觉语言模型（VLMs）在强化学习中的应用，提出了多种策略以减轻模型中的幻觉问题，并通过偏好调优和校准步骤提升了模型的准确性和公平性。此外，研究展示了如何利用VLMs生成密集奖励函数，从而显著提高强化学习代理的训练效果。
延伸解读
VLM作为奖励模型：从稀疏到密集的演进
文章展示了视觉语言模型作为强化学习奖励模型的两种路径：一是直接使用预训练VLM作为无样本奖励模型，通过文本提示训练MuJoCo智能体；二是VLM-CaR框架通过代码生成产生密集奖励函数，减轻直接查询的计算负担。后者在离散和连续环境中均能生成准确密集奖励，比稀疏环境奖励更有效地训练策略。这提示读者，VLM作为奖励源正从可行性验证走向高效实现。
幻觉治理：从检测到偏好调优的闭环
针对视觉语言模型的幻觉问题，文章介绍了多维度解决方案：引入详细视觉注释和区分性视觉模型提升训练精度，在RAH-Bench上实现+8.4%改进；POVID方法通过偏好调优和自动生成数据优化模型；细粒度人工智能反馈则构建句子级幻觉注释数据集，利用检测-重写流程自动构建偏好数据，并将幻觉严重程度纳入偏好学习。这些工作形成了从数据构建到模型优化的闭环。
偏见校准：无需训练的事后去偏策略
研究发现大型视觉语言模型的生成偏见主要源于底层语言模型而非输入图像。为此，文章提出两种无需训练的策略：对于分类或多项选择任务，通过仿射变换进行“校准”，调整输出分布，确保无图像时答案分数均匀；对于开放式生成，扩展为“去偏抽样”，借鉴对比解码。这些策略能有效减轻偏见，减少幻觉，并生成更准确有用的内容，同时揭示了模型在不同解码配置下的不稳定性。
Q&A
视觉语言模型在强化学习中的应用有哪些？
视觉语言模型（VLMs）可以作为无样本奖励模型，通过文本提示训练强化学习代理，完成复杂任务，提升训练效果。
如何减轻视觉语言模型中的幻觉问题？
通过引入偏好调优、自动生成数据的方法POVID，以及校准和去偏抽样策略，可以有效减轻幻觉问题。
VLM-CaR框架的主要功能是什么？
VLM-CaR框架通过代码生成从视觉语言模型生成密集奖励函数，显著提高强化学习代理的训练效果。
研究中提出的RAH-Bench评估基准有什么特点？
RAH-Bench评估基准分为三种不同的幻觉类型，旨在评估和改进视觉语言模型的性能。
如何提高大型视觉语言模型的训练效果？
通过引入更详细的视觉注释和更具区分性的视觉模型，可以提高大型视觉语言模型的训练效果，减少幻觉现象。
大型视觉语言模型中的偏见问题如何解决？
通过校准步骤和去偏抽样策略，可以减轻大型视觉语言模型中的偏见，确保生成内容更准确。
