OPDAI 在 SemEval-2024 任务 6 中：小型 LLM 可以利用弱监督数据加速幻觉检测
内容提要
该文综述大语言模型幻觉检测与缓解研究，提出弱监督子集扫描审计法，无需先验知识即可定位编码幻觉的关键节点；介绍AutoHall自动构建幻觉数据集、M-HalDetect多模态数据集、基于不确定性的无参考检测及UNIHD统一框架，并探讨幻觉成因、分类与缓解策略。
延伸解读
弱监督审计：无需先验的幻觉检测
文章提出一种弱监督审计方法，利用子集扫描检测LLM激活中的异常模式，无需预先知道幻觉类型，仅需测试期间不含异常的参考数据集。该方法还能定位编码幻觉的关键节点，为细调特定子网络以减轻偏见提供线索。这降低了检测对标注数据的依赖，但需注意其依赖参考数据集的质量。
模型差异：BERT与OPT的编码能力对比
实验结果显示，BERT在内部编码幻觉方面的能力有限，而OPT似乎能够内部编码幻觉信息。这表明不同架构的LLM对幻觉的编码能力存在差异，可能影响检测方法的适用性。读者在选用模型时需考虑其内部表征特性，而非假设所有模型一致。
检测性能：弱监督媲美全监督
文章指出，弱监督扫描方法在未事先暴露于虚假陈述的情况下，性能与完全监督的离群样本分类器相当。这意味着在缺乏标注数据时，弱监督方法可作为有效替代，但需注意其评估基于特定数据集和任务，泛化性仍需进一步验证。
幻觉检测生态：数据集与框架概览
文章综述了多个幻觉检测资源：AutoHall通过自相矛盾自动构建模型特定数据集，M-HalDetect针对多模态任务，UNIHD统一多模态检测框架，以及基于不确定性的无参考方法。这些工作从不同角度推进幻觉检测，但各自针对的模态和任务不同，实际应用时需根据场景选择合适工具。
Q&A
OPDAI 在 SemEval-2024 任务 6 中提出的弱监督审计方法是什么？
OPDAI 提出了一种弱监督的审计技术，使用子集扫描方法来检测预训练模型中 LLM 激活的异常模式。该方法不需要先验知识来了解模式的类型，而是依赖于在测试期间不含异常的参考数据集。
这种审计方法如何帮助减轻大语言模型的幻觉问题？
该方法可以确定编码幻觉等模式的关键节点，这可能为细调特定子网络以减轻偏见提供关键见解，从而有助于减轻幻觉。
在幻觉检测方面，BERT 和 OPT 模型有什么不同表现？
研究结果证实了 BERT 在编码幻觉方面内部能力有限，而 OPT 似乎能够在内部编码幻觉信息。
AutoHall 方法是如何自动构建幻觉数据集的？
AutoHall 通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现无资源和黑盒幻觉检测方法。
UNIHD 统一框架在幻觉检测中有什么作用？
UNIHD 是一个新颖的统一多模态幻觉检测框架，利用一套辅助工具来强化幻觉检测的有效性，并提供了针对不同幻觉类别的工具应用战略见解。
基于不确定性的无参考幻觉检测方法有什么特点？
该方法通过关注给定文本中最具信息和重要性的关键词、历史上不可靠的标记以及标记属性（如类型和频率），实现了最新的检测方法，消除了对额外信息的需求。
