RoVRM：通过辅助文本偏好数据优化的鲁棒视觉奖励模型
内容提要
本文探讨了视觉语言模型（VLMs）的多模态对齐与偏好提取，提出了基于人类反馈的算法，显著提升了模型在复杂任务中的表现。研究通过构建视觉语言反馈数据集和直接偏好优化方法，改善了模型的感知与认知能力，并解决了幻觉问题。此外，推出了WildVision-Arena平台，以收集人类偏好评估VLMs，推动了该领域的研究进展。
延伸解读
从监督到无监督：偏好对齐的演进
文章梳理了视觉语言模型偏好对齐的发展脉络：早期依赖人工标注或GPT-4监督，如VLFeedback数据集和DPO方法；随后出现无监督偏好对齐，通过图像增强生成选择和拒绝响应，无需外部监督。这一演进降低了数据标注成本，同时提升了模型鲁棒性，为后续研究提供了新思路。
评估基准的革新：WildVision-Arena与WV-Bench
针对现有基准在真实多模态交互中评估不足的问题，文章介绍了WildVision-Arena平台，通过收集人类偏好评估VLMs。基于8000个用户提交构建的WV-Bench，使用GPT-4作为评判，与Claude-3-Sonnet对比，在Elo评分上达到0.94的斯皮尔曼相关性，显著优于MMVet等基准，为VLMs评估提供了更贴近现实的标准。
幻觉与安全：当前VLMs的挑战
文章指出，尽管GPT-4V在简单视觉识别和推理上表现优异，但在微妙上下文提示、空间推理、视觉想象力和专家领域知识方面仍面临挑战。此外，当前VLMs在故意引发时存在幻觉和安全问题。这些发现揭示了模型在复杂现实场景中的局限性，为未来改进指明了方向。
Q&A
RoVRM模型的主要创新点是什么？
RoVRM模型通过基于人类反馈的视觉语言对齐算法，解决了模态不匹配问题，并显著提升了模型的感知与认知能力。
WildVision-Arena平台的目的是什么？
WildVision-Arena平台旨在收集人类偏好，以评估视觉语言模型的表现，推动该领域的研究进展。
如何解决视觉语言模型中的幻觉问题？
通过引入偏好调优和自动生成数据的方法，结合直接偏好优化的强化学习模型，解决了视觉大语言模型中的幻觉问题。
VisionPrefer数据集的作用是什么？
VisionPrefer数据集用于捕捉人类偏好，指导文本到图像生成模型的训练，提升模型与人类偏好的对齐能力。
RoVRM模型在基准测试中的表现如何？
RoVRM模型在MMHal-Bench基准测试中取得了3.02的最优成绩，显示出其在感知和认知能力方面的显著提升。
无监督偏好对齐的意义是什么？
无监督偏好对齐通过增强图像对生成选择和拒绝响应，提升了视觉语言模型的鲁棒性，减少了对人工标注的依赖。
