冲突库：评估知识冲突对大语言模型影响的基准
内容提要
本文探讨了大型语言模型（LLMs）在处理知识冲突时的表现，并提出新的校准方法以提高模型的可信度和一致性。研究发现，LLMs在面对外部知识时容易产生幻觉，并在知识冲突情况下表现出确认偏差。通过分析不同类型的知识冲突，旨在为改善LLMs的鲁棒性提供策略。
延伸解读
知识冲突的三种类型及其影响
文章将知识冲突分为三类：上下文与参数化记忆的冲突、不同上下文之间的冲突以及模型内部记忆的冲突。这些冲突会严重影响LLMs的可信度和性能，尤其在噪声和错误信息普遍的实际应用中。理解这些分类有助于针对性地设计缓解策略，例如通过校准参数化记忆或改进检索增强生成中的冲突处理。
模型在冲突下的行为特点
研究发现，LLMs在识别知识冲突方面表现良好，但在确定具体冲突知识并给出不同答案时存在困难。它们容易接受与参数化记忆冲突的外部证据，但在外部信息与参数化记忆一致时表现出确认偏差。此外，模型在直接冲突或混淆信息下容易产生幻觉，暴露了整合外部知识时的风险。
现有解决方案与校准方法
为应对知识冲突，研究者提出了多种方法，如冲突-分离-对比解码（CD2）用于校准置信度，以及通过剪枝冲突注意力头部的PH3方法。这些方法旨在提高模型在知识冲突下的鲁棒性，实验证明CD2能有效解决检索增强语言模型中的冲突。然而，生成对冲突场景的稳健响应仍是开放问题。
评估基准与未来方向
文章介绍了KNOT等数据集，将冲突知识推理分为直接提取、显式推理和隐式推理三个层次，并建立了利用冲突知识的指导原则。评估显示，即使来源可信度相同，模型也难以准确反映冲突性质，尤其是隐含冲突。未来研究需进一步探索知识领域和提示文本等因素的影响，以推动更鲁棒的LLMs发展。
Q&A
大型语言模型在处理知识冲突时表现如何？
大型语言模型在识别知识冲突方面表现良好，但在确定具体的冲突知识时存在困难。
文章中提出了什么方法来改善模型的可信度？
文章提出了一种新的校准方法，通过对LLMs的参数化记忆进行质量控制来改善模型的可信度和一致性。
知识冲突对大型语言模型的影响有哪些？
知识冲突会严重影响LLMs的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。
冲突-分离-对比解码（CD2）方法的作用是什么？
CD2方法旨在更好地校准模型的置信度，实验证明其有效性。
如何解决大型语言模型中的知识冲突问题？
通过对知识冲突的深入分析，提出了改善鲁棒性的策略，并引入了基于指令的方法来增强LLMs的能力。
大型语言模型在面对外部知识时会出现什么问题？
LLMs在面对外部知识时容易产生幻觉，并在知识冲突情况下表现出确认偏差。
