关于 LLMs 内部的普遍真实性超平面
内容提要
TruthX通过编辑语言模型的内部表达，提升了13个先进语言模型在TruthfulQA基准测试中的真实性表现。研究揭示了大型语言模型在回答事实性问题时容易产生幻觉，并提出了通过强化学习增强模型真实性的框架。评估结果显示，模型在不同用户背景下的表现存在不均衡，尤其对弱势用户的信息可靠性较低。
延伸解读
幻觉检测的新视角
文章指出，大型语言模型在已知事实的情况下仍可能产生幻觉。通过分析模型内部残差流到词汇空间的映射，研究者发现幻觉案例中输出令牌概率在模型后期层突然增加并保持优势。基于此动态曲线构建的分类器能以88%的准确率检测幻觉，这为实时预测幻觉提供了可行方法。
事实验证器的意外发现
人工评估显示GPT-3.5的事实性输出不足25%，凸显了事实验证器的必要性。有趣的是，研究中表现最不事实的FLAN-T5-11B作为验证器时效果最佳，甚至超过GPT-3.5和ChatGPT。这表明模型的事实生成能力与验证能力可能并不一致，为选择验证器提供了新思路。
真实性表示与干预
研究通过可视化、迁移实验和干预实验，发现语言模型对真/假陈述的表示具有线性结构。通过手术式干扰前向传递，可以改变模型对陈述真假的判断。这支持了通过编辑内部表示（如TruthX）来提升真实性的可行性，也为理解模型内部真实性机制提供了证据。
用户背景下的不均衡风险
针对三种领先LLM的实验表明，模型响应质量随用户英语水平、教育水平和国籍变化。对英语水平较低、教育水平较低及美国以外的用户，模型更易产生不可取行为，使其成为不可靠的信息来源。这提示在实际部署中需关注对弱势群体的潜在危害。
Q&A
TruthX如何提升语言模型的真实性表现？
TruthX通过编辑语言模型内部表达的真实空间，平均提升了13个先进语言模型在TruthfulQA基准测试中的真实性表现20%。
大型语言模型在回答事实性问题时常见的问题是什么？
大型语言模型在回答事实性问题时容易产生幻觉，导致输出非事实性的信息。
研究中如何评估大型语言模型的真实性？
研究通过人工评估和动态曲线分析，发现GPT-3.5的事实性输出不到25%，强调了事实验证器的重要性。
强化学习在提升语言模型真实性方面的作用是什么？
通过强化学习增强大型语言模型的真实性和诚实性，实验证明该训练框架有效提高了模型的表现。
大型语言模型对不同用户的表现有什么不均衡？
研究发现，领先的LLM模型在不可取的行为方面存在不均衡，尤其对英语水平低、教育水平低和来自美国以外的用户的信息可靠性较低。
如何检测大型语言模型的幻觉输出？
研究构建了一个能够以88%准确率检测幻觉预测的分类器，利用动态曲线作为特征进行分析。
