KCTS: 基于知识约束的树搜索解码与令牌级幻觉检测
原文中文,约400字,阅读约需1分钟。发表于: 。大型语言模型 (LLMs) 展示了令人瞩目的人类级自然语言生成能力。然而,它们产生误信息的潜力,通常被称为幻觉问题,给其应用带来了重大风险。为了克服这些限制,我们提出了一种称为 KCTS(知识约束树搜索)的知识约束解码方法,通过知识分类器分数和...
该文介绍了一种名为KCTS的知识约束解码方法,通过知识分类器分数和MCTS,在每个解码步骤上引导模型生成与参考知识一致的文本,以减少大型语言模型产生误信息的潜力。同时,作者还提出了一种新的标记级幻觉检测方法RIPA。实证结果表明,KCTS作为一种即插即用、模型不可知的解码方法,能有效减少自然语言生成中的幻觉。