生成模型的信实性在上下文迁移下的分析
内容提要
该文综述大语言模型幻觉研究，分析知识冲突成因，提出减少参数过度依赖、上下文感知解码、自我反思等方法，并利用指标检测幻觉，以提升摘要忠实度与泛化性能。
延伸解读
幻觉成因与知识冲突
文章指出，大语言模型在知识依赖任务中常因过度依赖学习参数而忽视上下文，导致知识冲突和幻觉。这种冲突源于模型内部参数知识与外部上下文信息的不一致，从而产生不忠实于原文的生成内容。理解这一机制有助于针对性地设计缓解方法。
缓解幻觉的技术路径
文章综述了多种减轻幻觉的方法，包括减少参数过度依赖、上下文感知解码（CAD）、交互自我反思以及基于意见的提示等。这些方法通过调整解码策略或引入外部知识，提升模型对上下文的忠实度，并在摘要等任务中验证了有效性。
幻觉检测与评估指标
文章提到利用模型内部状态指标训练二分类器检测幻觉，AUROC可达0.80，且先前的幻觉令牌可预测后续幻觉。此外，文本蕴含度量与忠实度相关性更好，有望成为自动评估标准。这些进展为幻觉的自动识别和量化提供了新工具。
Q&A
大语言模型为什么会产生幻觉？
文章指出，幻觉产生的原因之一是模型过度依赖学习参数，导致在知识依赖任务中出现知识冲突。
有哪些方法可以减少大语言模型的幻觉？
文章提到多种方法：减轻过度依赖学习参数、上下文感知解码（CAD）、交互自我反思、使用上下文和嵌入标签、设计启示策略（如意见为基础的提示和反事实演示）等。
上下文感知解码（CAD）是如何提高模型可信度的？
CAD通过对比上下文存在与否来放大模型生成输出的概率得分，从而显著提高OPT、GPT、LLaMA和FLAN-T5等模型在摘要任务中的可信度，并能有效改变模型的先验知识以解决知识冲突。
如何检测大语言模型生成的幻觉？
文章提到通过探究模型生成的输入、输出和内部状态中的指标来检测幻觉，这些指标在幻觉和非幻觉生成之间存在差异；训练二分类器使用这些指标作为输入特征，AUROC值达到0.80。此外，还可以通过分析相对标记的贡献设计轻量级幻觉检测器。
交互自我反思方法在减少幻觉方面效果如何？
文章指出，在医学生成型问答系统中，交互自我反思方法在幻觉减少方面优于基线模型。
如何提高抽象摘要生成的忠实度？
文章提到多种方法：使用外部世界知识提高文摘忠实度；通过替身候选生成和选择的后处理技术修正幻觉；使用文本蕴含度量作为评估标准；以及上下文感知解码等技术。
