评估中文大型语言模型中的幻觉
原文中文，约500字，阅读约需2分钟。发表于：。在这篇论文中，我们建立了一个名为 HalluQA 的基准，用于衡量中文大型语言模型中的幻觉现象。HalluQA 包含 450 个精心设计的对抗性问题，涵盖多个领域，并考虑了中国的历史文化、习俗和社会现象。我们在构建 HalluQA 过程中考虑了两种类型的幻觉：模仿性虚假和事实错误，并基于 GLM-130B 和 ChatGPT 构建对抗样本。为了评估，我们使用 GPT-4...
该论文介绍了一个名为HalluQA的中文大型语言模型幻觉现象基准，包含450个对抗性问题，使用GPT-4设计了自动评估方法，对24个大型语言模型进行了广泛实验。结果表明，18个模型实现了低于50%的非幻觉率，说明HalluQA具有很高的挑战性。作者还分析了不同类型模型中主要类型的幻觉及其原因，并讨论了不同类型模型应优先考虑哪些类型的幻觉。
