本研究探讨大型语言模型在长篇故事创作中的评估挑战,提出WebNovelBench基准,利用4000多个中文网络小说数据集,从多个角度评估叙事质量,以区分人类作品与LLM生成内容。
大型语言模型在开放式主题的事实查询中常出现错误。研究提出了一种名为SAFE的方法,通过多步推理评估长篇回复的准确性。实验证明,SAFE在评估上超越人类标注者,且成本低。研究还探讨了长篇问答任务的评估挑战,并提出改进建议,以提高答案的相关性和可靠性。
该文综述大语言模型幻觉研究,涵盖幻觉分类、成因(如训练数据记忆与频率偏好)、检测方法与基准,以及检索增强生成、知识检索等缓解技术,并讨论评估挑战与未来方向,旨在提升模型可靠性与忠实度。
完成下面两步后,将自动完成登录并继续当前操作。