SAC$^3$: 基于语义感知交叉检验的黑盒语言模型可靠幻觉检测
原文中文,约300字,阅读约需1分钟。发表于: 。通过引入语义感知的交叉检查一致性(SAC^3)方法,我们重新审视了现有的基于语言模型自一致性的幻觉检测方法,并发现了两种无法通过自一致性检查有效识别的幻觉类型,即问题级和模型级,并通过利用包括语义等效问题扰动和交叉模型响应一致性检查在内的先进方法来检测这两种幻觉,通过大量系统的经验分析,我们证明了 SAC^3 在检测多个问答和开放领域生成基准中的非事实和事实陈述方面优于现有技术。
该研究提出了SAC^3方法,重新审视了现有的幻觉检测方法,并发现了两种无法通过自一致性检查有效识别的幻觉类型。通过利用包括语义等效问题扰动和交叉模型响应一致性检查在内的先进方法来检测这两种幻觉,证明了SAC^3在检测多个问答和开放领域生成基准中的非事实和事实陈述方面优于现有技术。