对新知识进行细调的 LLMs 是否鼓励产生幻觉？
内容提要
研究表明，大型语言模型（LLMs）在处理不熟悉概念时容易产生幻觉。通过分析模型输出行为，开发了一种新的方法来减轻这一问题。研究发现，训练数据的记忆和频率偏好是导致幻觉的主要因素。提出的知识感知微调方法显著提高了模型在自然语言处理任务中的表现。
延伸解读
幻觉的机制：动态视角
文章指出，大型语言模型在回答已知事实时仍可能产生幻觉。通过分析模型内部残差流到词汇空间的映射，研究者发现正确和幻觉案例在输出令牌概率的动态变化上存在差异：幻觉案例中，输出令牌的信息在模型后期才突然增加并占据优势。这种动态曲线可作为特征，以88%的准确率检测幻觉预测。这揭示了幻觉发生的模式，并提供了预测幻觉的可能性。
频率冲击：微调带来的副作用
文章提到，对语言模型进行微调时会出现“频率冲击”现象，导致模型预测能力下降。这是因为训练数据中的记忆和频率偏好会影响模型对不熟悉输入的预测。为了解决这个问题，研究者提出了模型混合和混合微调两种方案，实验表明这两种方案相比原始微调均有显著改进。这提示我们，在微调过程中需注意数据频率分布对模型泛化的影响。
知识感知微调：缓解幻觉的新方法
文章介绍了一种名为KnowTuning的知识感知微调方法，旨在解决大型语言模型在自然语言处理任务中的知识感知不足问题。该方法在通用和医疗问答数据集上进行了广泛实验，证明了其有效性，并展示了在未知问答数据集上的泛化能力。此外，结合外部知识源可以增强模型的上下文处理能力，克服传统语言模型的幻觉等问题。
Q&A
大型语言模型（LLMs）在处理不熟悉概念时会出现什么问题？
大型语言模型在处理不熟悉概念时容易产生幻觉，倾向于使用关于不确定性的预测。
如何减轻大型语言模型产生幻觉的问题？
可以通过修改训练数据中的监督和采用知识感知微调方法来减轻幻觉问题。
训练数据的哪些特征导致了LLMs的幻觉？
训练数据的记忆和频率偏好是导致幻觉的主要因素。
什么是知识感知微调方法（KnowTuning）？
知识感知微调方法是一种通过增强模型对知识的感知来提高其在自然语言处理任务中的表现的方法。
模型混合和混合微调的目的是什么？
模型混合和混合微调旨在解决频率冲击问题，改善模型的预测能力。
将预训练语言模型与外部知识源结合有什么好处？
结合外部知识源可以增强模型的上下文处理能力，克服传统语言模型的问题。
