清华领衔发布多模态评估MultiTrust：GPT-4可信度有几何？
内容提要
清华大学等研究人员发布了名为MultiTrust的综合基准，对多模态大语言模型的可信度进行了全面评估。研究人员发现多模态大模型存在幻觉、偏见、隐私泄漏等安全威胁，并维护了一个多模态大模型可信度榜单。未来需要创新高效的算法来提升多模态大模型的可信度。
延伸解读
多模态大模型的可信度评估框架
MultiTrust基准从事实性、安全性、鲁棒性、公平性和隐私保护五个维度评估多模态大模型的可信度，并细分为10个子维度和32个任务场景。该框架不仅涵盖传统评估维度，还创新性地引入多模态风险和跨模态影响视角，以全面捕捉新模态带来的独特挑战。
商用与开源模型的可信度对比
根据MultiTrust榜单，闭源商用模型如GPT-4和Claude在可信度上普遍优于开源模型，但即使这些模型经过安全加固，仍对对抗攻击和多模态越狱攻击表现出脆弱性。开源模型中，Phi-3因安全对齐排名最高，但与闭源模型仍有差距。
跨模态影响与安全对齐的削弱
研究发现，多模态训练和推理会削弱大语言模型的安全对齐机制。例如，在纯文本任务中引入无关图像可能导致模型泄露隐私或降低安全性。这表明多模态大模型面临区别于纯文本模型的独特挑战，需要创新算法来提升可信度。
提升可信度的未来方向
研究指出，提升多模态大模型的可信度需要多元化训练数据、检索增强生成和宪法AI等方案，同时关注模态间对齐和视觉编码器鲁棒性。团队公开了MMTrustEval工具包，并组织相关竞赛，以推动可信度研究的持续发展。
Q&A
MultiTrust基准的主要目的是什么？
MultiTrust基准旨在全面评估多模态大语言模型的可信度，揭示其潜在安全风险。
多模态大模型存在哪些安全威胁？
多模态大模型存在幻觉、偏见、隐私泄漏等安全威胁，影响其可靠性。
MultiTrust基准评估的五个维度是什么？
MultiTrust基准评估的五个维度是事实性、安全性、鲁棒性、公平性和隐私保护。
闭源商用模型与开源模型的可信度有何区别？
闭源商用模型普遍更安全可靠，可信度排名较高，而开源模型在可信性测试中表现出不同的弱点。
提升多模态大模型可信度的建议是什么？
提升可信度需要创新高效的算法、多元化的训练数据和持续的动态评估。
MultiTrust基准如何构建任务场景？
MultiTrust基准构建了32个任务场景，覆盖判别和生成任务，基于公开数据集和人工收集的数据。
