ZMonster's AI Notes(Alpha) #2：模型汤、推测解码、幻觉的类型与定义、GPT top_logprobs
内容提要
本文讨论了幻觉的定义和分类，引用了Ziwei Ji的定义，幻觉文本的特点是流畅但背景知识错误。幻觉可分为内在幻觉和外在幻觉，以及事实性幻觉和忠实性幻觉。一些论文还讨论了幻觉与正确性和事实性的关系。
延伸解读
幻觉定义的多样性：为何没有统一标准
文章指出，幻觉在LLM中尚无一致共识。Ziwei Ji的定义被广泛引用，但后续研究如Yue Zhang、Lei Huang等在此基础上进行了不同扩展。这种多样性反映了任务差异和概念边界模糊，读者需注意不同论文对幻觉的界定可能不同，避免混淆。
忠实性与事实性：易混淆的关键概念
Ziwei Ji强调忠实性指与给定信息一致，事实性指与现实一致。许多论文将两者混用，导致概念混乱。文章提醒，明确区分这两个概念有助于准确理解幻觉，尤其是在评估模型输出时，需根据任务判断是忠实性问题还是事实性问题。
分类体系的演变与争议
从Ziwei Ji的内在/外在幻觉，到Yue Zhang的输入/上下文/事实冲突幻觉，再到Lei Huang的事实性/忠实性幻觉，分类不断细化。但文章指出Lei Huang的分类存在混淆错误与幻觉的问题，如指令不一致更应属于指令追随研究。读者应批判性看待不同分类的适用性。
基于训练数据的幻觉定义：一种严格视角
Ayush Agrawal等人将幻觉定义为无法在训练数据中找到依据的杜撰文本，强调groundedness而非正确性。这种定义清晰但可能不符合大众认知，文章作者表示欣赏其明确性。读者可思考这种定义在评估中的利弊，以及它如何影响对模型输出的判断。
Q&A
大语言模型中的幻觉通常是如何定义的？
Ziwei Ji 等人将幻觉定义为“生成的内容无意义或不忠实于提供的源内容”，即模型生成流畅但背景知识错误或无意义的文本。
幻觉可以分为哪些主要类型？
Ziwei Ji 将幻觉分为内在幻觉（与源内容矛盾）和外在幻觉（与源内容无关）。Yue Zhang 等人进一步分为输入冲突幻觉、上下文冲突幻觉和事实冲突幻觉。Lei Huang 等人则分为事实性幻觉（事实不一致、事实编造）和忠实性幻觉（指令不一致、上下文不一致、逻辑不一致）。
内在幻觉和外在幻觉有什么区别？
内在幻觉指生成的文本与源内容矛盾或不一致；外在幻觉指生成了与源内容无关的内容，无法用源内容验证其正确性。
忠实性和事实性在幻觉研究中有什么不同？
忠实性指模型生成结果是否与给定的信息或知识保持一致；事实性指生成结果是否与现实世界的事实一致。Ziwei Ji 用“世界知识”代替“事实”以避免混淆。
Ayush Agrawal 等人对幻觉的定义是什么？
他们将幻觉定义为“无法在训练数据中找到依据的杜撰文本”，强调 groundedness（在训练数据中有依据），并认为幻觉未必是事实上不正确的。
为什么说幻觉的定义目前没有一致共识？
因为不同论文对幻觉的定义和分类存在差异，有的基于源内容，有的基于训练数据，且忠实性、事实性等概念使用混乱，导致缺乏统一标准。
