自信过度的大型语言模型隐藏状态中的幻觉无法解答现象
原文中文,约300字,阅读约需1分钟。发表于: 。当生成虚幻答案时,大型语言模型表达问题是否无法回答的事实,结果表明,LLMs 的潜在表示中存在空间组织机制,揭示了这些模型以前未被探索的方面。同时,为了更好地遵守事实生成,特别是在问题无法回答的情况下,这些发现为改进解码技术的发展铺平了道路。
该文介绍了对幻视进行细粒度建模和缓解的方法,提供了两个幻视方向的全面理解,并将其细分为内在和外在,分为三个严重程度,同时对幻视进行了六种类型的细致分类。作者还提供了包含 75,000 个样本和人工注释的数据集,并提出了 Hallucination Vulnerability Index(HVI)来量化和评估语言模型在产生幻视方面的脆弱性。该指数可以作为人工智能相关政策制定的标准工具。