分解验证：检测和减少学术论文摘要中的虚假信息
原文中文，约400字，阅读约需1分钟。发表于：。通过 Factored Verification 方法检测模糊摘要中的幻觉，并评估了其在 HaluEval 基准测试中的状况，结果表明其在幻觉检测方面达到了 76.2% 的准确度。我们使用该方法估计模型在多篇学术论文摘要中产生幻觉的频率，结果显示 ChatGPT (16k) 平均摘要中有 0.62 个幻觉，GPT-4 为 0.84，而 Claude 2 则为 1.55。我们要求模型使用...
该研究使用 Factored Verification 方法检测模糊摘要中的幻觉，并在 HaluEval 基准测试中评估了其准确度。结果显示幻觉检测方面达到了 76.2% 的准确度。研究还发现 ChatGPT (16k) 平均摘要中有 0.62 个幻觉，GPT-4 为 0.84，而 Claude 2 则为 1.55。通过使用 Factored Critiques 进行自我纠正，幻觉数量分别下降到了 ChatGPT 的 0.49，GPT-4 的 0.46，以及 Claude 2 的 0.95。研究者提醒在使用模型合成学术论文时需要谨慎。
