揭示大语言模型角色扮演中检测角色知识错误的挑战
原文中文，约400字，阅读约需1分钟。发表于：。本研究针对当前大语言模型在角色扮演中未能有效识别已知和未知知识错误的问题，提出了一种新的评估数据集。实验表明，即使是最新的大语言模型在识别这些知识错误时仍然表现不佳。通过引入自我回忆与自我怀疑的推理方法，研究展示了改善错误检测能力的潜力，但这一问题仍需持续关注。
本研究在中国的角色扮演游戏“Jubensha”中应用大型语言模型，设计了中文数据集，提升了AI智能体的发展。研究还介绍了基于语言模型的多智能体交互框架，增强了游戏的动态性。通过评估智能体的表现，验证了方法的有效性。研究旨在为该领域提供新视角，并建立新的评估基准。
