为什么大语言模型会撒谎？
内容提要
大语言模型会产生“幻觉”，即生成看似自信却与事实或给定材料不符的内容。原因是模型逐词预测文本，追求语言流畅而非核实真伪，且训练激励其猜测而非承认不确定。应对方法包括：用RAG检索提供证据、用工具查询缺失事实、允许“信息不足”作为有效回答、对答案进行独立核查。可靠性需在真实场景中评估，兼顾准确性与实用性。
延伸解读
幻觉的分类与影响
文章将幻觉分为事实性幻觉、忠实性幻觉和捏造三类。事实性幻觉指与客观现实矛盾，如错误描述退款政策；忠实性幻觉指与提供的证据不符，如曲解政策条款；捏造则是无中生有，如编造政策章节或确认号。这些错误可能只出现在细节中，但用户往往依赖这些细节做决策，因此即使整体回答看似合理，也可能导致实际损失。
训练激励与不确定性表达
模型在训练中倾向于生成流畅文本，且评估方式可能奖励猜测：答对得分，答错和承认不确定得分相同，导致模型更愿冒险猜测而非承认无知。此外，模型自我评估能力有限，无法可靠区分正确与猜测。要求模型输出置信度百分比也需校准验证，否则可能增加虚假细节。因此，需通过外部机制而非单纯依赖模型自省来管理不确定性。
RAG与工具使用的互补性
RAG通过检索相关文档为模型提供证据，但可能返回过时或错误文档，且模型可能误读。工具调用则能获取实时数据，如账户状态或计算。两者互补：RAG提供通用规则，工具提供个性化事实。但工具调用必须真实执行，失败需可见，不能假设成功。例如，退款资格需同时检查政策条件和账户使用情况，支付完成需支付系统确认，而非模型生成确认号。
验证与评估的要点
验证应作为独立步骤，检查答案中的每个事实主张和引用。引用必须真实存在、适用且支持具体陈述。简单技术如降低温度或强制输出格式不能保证事实正确。评估需在真实场景中进行，包括合格、不合格、缺失记录、过时政策等案例，并衡量答案正确性、支持度以及是否恰当处理无法回答的问题。最终，可靠性取决于证据是否决定应用能声称什么。
Q&A
大语言模型为什么会产生幻觉？
大语言模型通过逐词预测生成文本，追求语言流畅而非核实真伪。训练时，如果评估奖励猜测而惩罚承认不确定，模型就会倾向于编造答案，导致幻觉。
如何减少大语言模型的幻觉？
可以使用RAG检索提供证据、用工具查询缺失事实、允许“信息不足”作为有效回答，并在答案到达用户前进行独立核查。
RAG如何帮助减少幻觉？
RAG在生成前检索相关材料并加入模型输入，让模型基于实际文档回答。但检索可能返回过时或错误文档，模型也可能误读，因此需要确保文档清晰、处理冲突。
为什么模型很难承认自己不知道？
模型主要优化生成看似合理的文本，且训练激励可能鼓励猜测：猜对得分，猜错和承认不确定得分相同，不猜则零分。因此模型倾向于编造而非承认无知。
工具调用如何防止幻觉？
工具让应用获取模型之外的信息或执行操作，如查询账户记录、计算等。模型请求工具，应用执行并返回结果，从而基于真实数据生成回答。但工具必须实际执行，失败需可见。
为什么让模型解释推理过程不能保证答案正确？
生成的解释可能包含错误前提或未能忠实反映实际影响结果的因素。解释本身不是证据，应要求与可核查证据关联的简洁理由，并独立验证事实主张。
