LLM 幻觉检测的概率框架：基于信念树传播
原文中文，约400字，阅读约需1分钟。发表于：。本文提出了一种基于概率的框架 Belief Tree Propagation（BTProp）用于 LLM 产生语句的幻觉检测，通过引入逻辑相关语句的置信树与隐藏马尔可夫树模型，以系统性的方式整合 LLM 在这些语句中的置信分数，实验结果表明我们的方法在多个幻觉检测基准测试中相对于基线提升了 3% - 9%（通过 AUROC 和 AUC-PR 评估）。
该研究提出了一种审计方法，用于检测大型语言模型中是否编码了幻觉等模式，并可向下游任务传播。研究结果表明，BERT在编码幻觉方面能力有限，而OPT能够在内部编码幻觉信息。该方法在没有暴露于虚假陈述的情况下，表现出与完全监督的离群样本分类器相当的性能。
