利用注意力图的谱特征进行大语言模型的幻觉检测

📝

内容提要

本文研究了大语言模型(LLMs)中的幻觉检测问题,特别是当前方法的有效性受到限制。我们提出了一种新方法——$\text{LapEigvals}$,通过分析注意力图的谱特征,利用拉普拉斯矩阵的前$k$个特征值进行幻觉检测,实验证明该方法在基于注意力的幻觉检测中表现出色,为未来的研究提供了新的方向。

🏷️

标签

➡️

继续阅读