通过解码时的幻觉和真实比较器改善大型语言模型的事实性
内容提要
本研究针对大型语言模型中的“幻觉”现象，提出了感应-对比解码、忠实微调（F2）和适应性激活引导（ACT）等方法，以提高生成内容的真实性。实验结果表明，这些方法有效减少了虚假信息的生成，并提升了模型在TruthfulQA基准测试中的表现，展示了在自然语言处理任务中的潜力。
延伸解读
幻觉缓解的技术路线演变
文章梳理了从2023年9月到2024年8月的一系列研究，展示了缓解大语言模型幻觉的技术路线演变。早期工作如感应-对比解码侧重于解码策略的调整，通过对比不同层次的逻辑概率分布来减少不真实预测。随后，研究转向更深入的模型内部机制探索，如发现真实性超平面和上下文激活的尖锐度差异。这些进展表明，幻觉缓解正从外部干预向内部表征理解深化，为未来研究提供了更丰富的理论基础。
方法对比：解码、微调与激活引导
文章介绍了三种主要方法：感应-对比解码、忠实微调（F2）和适应性激活引导（ACT）。解码方法在推理阶段调整概率分布，无需重新训练；F2通过设计损失函数在微调中显式建模忠实回答；ACT则在推理时调整激活方向，自适应引导强度。这些方法各有侧重，解码和ACT适用于已训练模型，F2需要微调。实验显示，ACT在多个模型上提升真实性19%至142%，而F2在常用数据集上显著改进基线。
评估基准与性能提升
TruthfulQA是评估模型真实性的关键基准，多项研究在此报告了提升。例如，基于熵的约束解码方法在TruthfulQA上获得高达8.6个百分点的提升，LOL框架平均提高4.5分，TruthX在13个模型上平均提升20%。这些结果说明，不同方法在提升事实性方面均有效，但提升幅度因方法而异。读者可关注这些基准上的具体表现，以比较不同技术的效果。
局限与未来方向
文章指出，当前方法虽能减少幻觉，但仍存在局限。例如，解码方法可能抑制输出而不显式建模幻觉，表示编辑方法隐式调整行为。此外，幻觉来源多样，包括嘈杂数据、模型过度自信等，单一方法难以全面解决。研究发现真实性超平面为未来研究提供了方向，但如何将其转化为通用解决方案仍需探索。读者应注意，这些方法在关键应用中的实际效果还需进一步验证。
Q&A
大型语言模型中的幻觉现象是什么？
大型语言模型中的幻觉现象是指模型生成流畅但不真实的回复，可能导致错误信息的传播。
感应-对比解码策略如何改善模型的真实性？
感应-对比解码策略通过降低幻觉导致的不真实预测，增强了大型语言模型生成内容的可信度。
忠实微调（F2）方法的主要特点是什么？
忠实微调（F2）方法通过设计损失函数，显式对忠实回答建模，从而显著改善模型表现。
适应性激活引导（ACT）方法的作用是什么？
适应性激活引导（ACT）方法通过调整激活方向，提高生成内容的真实性，适用于多种模型。
研究中发现的真实性超平面有什么意义？
真实性超平面能够区分正确和错误输出，为未来研究提供了方向。
LOL框架在减少幻觉方面的表现如何？
LOL框架在减轻幻觉方面优于大多数现有基线，且在TruthfulQA的所有指标上平均提高了4.5分。
