本研究提出了一种基于大型多模态模型不确定性信号的无监督排名方法，解决了传统评估方法在新场景中的局限性。研究表明，该方法能够有效进行视觉问答任务的模型选择，无需手动标注。

研究人员使用贝叶斯奖励模型来缓解奖励过度优化的问题。通过训练贝叶斯奖励模型，在离训练数据分布较远的位置发出更高的不确定性信号，减少错误的奖励选择。使用 Laplace-LoRA 训练的贝叶斯奖励模型成功缓解了最佳 n 采样中的奖励过度优化问题。