BriefGPT - AI 论文速递
·
RefChecker：基于引用的细粒度幻觉检查器和大语言模型基准
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本文介绍了自动细粒度幻觉检测任务和一个新的综合分类法。研究结果显示ChatGPT和Llama 2-Chat的输出中有60%和75%的幻觉，其中大多数属于未被充分研究的类别。为了解决这个问题，研究者训练了FAVA，一个通过合成数据生成来检测和纠正细粒度幻觉的检索增强的语言模型。在基准测试中，FAVA在细粒度幻觉检测方面明显优于ChatGPT，且提高了语言模型生成文本的准确性。
🎯
关键要点
- 大语言模型倾向于生成事实不准确的陈述。
- 提出了自动细粒度幻觉检测的新任务和综合分类法。
- 分析显示ChatGPT和Llama 2-Chat的输出中有60%和75%的幻觉。
- 大多数幻觉属于未被充分研究的类别。
- 为了解决问题，研究者训练了FAVA，一个通过合成数据生成的检索增强语言模型。
- FAVA在细粒度幻觉检测方面明显优于ChatGPT。
- FAVA的修改提高了语言模型生成文本的准确性，导致5-10%的FActScore改进。
➡️
