本研究提出了一种自对齐的角色扮演方法Ditto,通过利用大规模训练语料库中的角色知识,将语言模型调整为模拟角色扮演对话。Ditto在多轮对话中展现出一致的角色身份和准确的角色特定知识,性能高于其他开源角色扮演基准,并与专有聊天机器人相媲美。同时,研究还发现大型语言模型自身的能力限制了角色特定知识的获取,但通过辅助较小模型的指导可以轻松获得角色扮演风格。
该论文介绍了RoleEval,一个旨在评估角色知识的双语基准测试。通过对多个大型语言模型在不同设置下的评估,发现GPT-4在全球角色评估上表现出色,中文语言模型在中文角色评估上表现优异。该研究凸显了知识分布差异的重要性,并期望RoleEval能够在各种语言和文化背景下评估基础模型的角色知识。
完成下面两步后,将自动完成登录并继续当前操作。