朝着真实的多语言大型语言模型迈进：基准测试和对齐策略
内容提要
本研究评估了多语言大型语言模型（MLLMs）的事实准确性，发现英语表现优异但存在地理偏见。研究强调了改进多语言事实评估的必要性，并提出了新的真实性评估基准，以提升模型的可靠性和准确性。
延伸解读
地理偏见的具体表现
研究发现，多语言大型语言模型对来自西方大陆的事实信息存在偏见，而英语在事实准确性和生成事实的数量上一直表现优异。这意味着模型在处理非西方语言或地区相关事实时，可能更容易出错或提供不完整信息。这种偏见可能影响模型在全球范围内的可靠性和公平性，尤其是在涉及不同文化背景的事实查询时。
事实错误检测的现状与挑战
尽管提出了felm等真实性评估基准，但当前语言模型在检测事实错误方面的表现仍不令人满意。实验证实，模型在忠实检测事实错误方面远未达到理想水平。这限制了模型在需要高事实准确性的实际场景中的应用，如自动摘要、问答系统等。提升事实错误检测能力是改进模型可靠性的关键挑战之一。
多模态事实检查的进展与局限
对多模态大型语言模型的事实检查评估显示，GPT-4V在识别恶意和误导性多模态论断方面表现优越，并能解释不合理方面和潜在动机。然而，开源模型存在强烈偏见且对提示敏感。这表明多模态性引入了新的复杂性，虽然先进模型展现出潜力，但整体上提升多模态模型的可靠性仍需更多努力。
对齐策略与可信来源
研究提出了受信任的来源对齐（TSA）属性，用于衡量模型在面对不确定性或争议时与受信任发布者内容的一致性。在FactCheckQA数据集上，随着模型规模增大，TSA性能从随机状态提高到最高80%的平衡准确率。这提示对齐技术可以提升模型的事实一致性，但如何平衡诚实性与任务性能仍需进一步探索。
Q&A
多语言大型语言模型的事实准确性如何评估？
本研究通过对九种语言进行分析，系统评估了多语言大型语言模型的事实准确性。
研究发现英语在多语言模型中的表现如何？
研究发现英语在事实准确性和生成事实的数量方面表现优异。
研究中提到的地理偏见是什么？
多语言模型对来自西方大陆的事实信息存在偏见，凸显了改善多语言事实评估的需求。
什么是felm真实性评估基准？
felm是一个大型语言模型真实性评估基准，旨在帮助定位具体的事实错误。
当前语言模型在检测事实错误方面的表现如何？
当前的语言模型在忠实地检测事实错误方面的表现仍不令人满意。
GPT-4V在多模态信息识别方面的表现如何？
GPT-4V在识别恶意和误导性多模态论断方面表现优越。
