大规模法律虚构:对大型语言模型中的法律幻觉进行剖析
原文中文,约300字,阅读约需1分钟。发表于: 。律师常见的经验法则错误假设对大型语言模型的查询及其常见的法律幻觉有极高百分比的影响,通过比较与结构化法律元数据的调查结果,并研究法律规定的一系列查询结果,我们开发了一种法律幻觉的分类方法,并提醒了不应迅速自主将流行的大型语言模型整合到法定任务中。
该研究通过细致分类和度、方向及类别上的倾向进行幻视建模和缓解。提供了两个幻视方向(FM 和 SL)的全面理解,并将其进一步细分为内在和外在,分为温和、中度和令人担忧的三个严重程度,同时对幻视进行了六种类型的细致分类。提供了包含 75,000 个样本和人工注释的 HallucInation eLiciTation(HILT)数据集。提出了 Hallucination Vulnerability Index(HVI),可量化和评估语言模型在产生幻视方面的脆弱性,并作为人工智能相关政策制定的标准工具。