加强多模式大型语言模型的启动式优化偏好
内容提要
本文提出了一种基于蒸馏的多模态对齐模型，通过偏好调优和自动生成数据的方法解决视觉大语言模型中的幻觉问题。研究探讨了大型语言模型的偏差，提出了OPEN框架以优化用户偏好获取，并介绍了因果偏好优化（CPO）和相对偏好优化（RPO）等新方法，显著提升了模型性能和适应性。
延伸解读
多模态对齐中的蒸馏与偏好调优
文章提出基于蒸馏的多模态对齐模型，旨在修复视觉指导调整后多模态大模型的语言能力。同时，通过偏好调优和自动生成数据（POVID）解决视觉大语言模型中的幻觉问题，并利用直接偏好优化的强化学习提升性能。这表明多模态模型优化正从单纯扩大数据规模转向结合偏好信号与数据生成，以兼顾语言能力和视觉真实性。
LLM评估偏差与冗长性度量
研究指出，使用其他LLM评估时存在冗长性偏差，即LLM倾向于给更长的答案更高评价，即使质量相似。在实验设置中，GPT-4更偏好较长答案，作者为此提出了度量该偏差的指标。这提醒读者，在依赖LLM进行自动评估或对齐时，需警惕长度等表面特征对结果的干扰，并考虑引入偏差校正机制。
偏好获取与优化方法的进展
OPEN框架利用贝叶斯最优实验设计指导选择信息丰富的问题，并结合语言模型将抽象查询转化为自然语言，在用户研究中优于现有方法。此外，因果偏好优化（CPO）和双重稳健CPO（DR-CPO）被提出以在混淆条件下稳健优化LLM，而相对偏好优化（RPO）通过对比加权机制提升模型对用户偏好的理解与适应性。这些方法共同推进了LLM与人类偏好的对齐。
多模态表示学习与翻译性能提升
通过提高数据质量，多模态大语言模型在图像文本检索中取得显著提升：微调设置下R@1提高5.6~35.0%，零样本设置下提高16.8~46.1%，零样本结果可与目标数据集微调相媲美。同时，利用直接偏好优化微调多语种大模型，可在推理中实现最小贝叶斯风险解码的增益，避免额外计算负担，并在多个NMT测试集上显著改进翻译性能。
Q&A
什么是多模态对齐模型，它的主要功能是什么？
多模态对齐模型是一种基于蒸馏的方法，旨在修复和增强视觉指导调整后的多模态大型语言模型的语言能力。
如何解决视觉大语言模型中的幻觉问题？
通过引入偏好调优和自动生成数据的方法，研究解决了视觉大语言模型中的幻觉问题，并提高了模型性能。
OPEN框架的作用是什么？
OPEN框架利用贝叶斯最优实验设计优化用户偏好获取，显示出优于现有方法的效果。
因果偏好优化（CPO）和相对偏好优化（RPO）有什么区别？
因果偏好优化（CPO）专注于优化文本和结果之间的关系，而相对偏好优化（RPO）则提高了模型对用户偏好的理解能力。
黑盒提示优化（BPO）如何提高模型的胜率？
黑盒提示优化（BPO）使大型语言模型更好地遵循用户指令，ChatGPT的胜率提高了22%，GPT-4提高了10%。
最小贝叶斯风险（MBR）解码对翻译性能有什么影响？
最小贝叶斯风险（MBR）解码显著提高了多语种大型语言模型的翻译性能，避免了额外的计算负担。
