合并冲突!” 探究外部干扰因素对参数化知识图的影响
原文中文,约300字,阅读约需1分钟。发表于: 。通过构建参数化知识图和引入外部知识,系统地研究了大型语言模型 (LLMs) 在与用户互动时,外部知识如何干扰其参数化知识;结果显示,LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复,暴露了整合外部知识时产生幻觉的风险。
本文提出了一种系统性方法,通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆,并进行了一系列受控实验。研究发现,LLMs在遇到知识冲突时,即使与其参数化记忆冲突,也可以高度接受外部证据,但在提供与其参数化记忆一致的信息时,它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。