本文探讨了如何利用大型语言模型(LLM)构建角色扮演对话数据集,并评估其角色扮演能力。研究开发了RoleBench和RoleInteract基准,涵盖多种角色和对话示例,揭示个体与群体互动中的表现差异。此外,提出了通过MORTISE改进角色对齐能力的策略,强调LLM在模拟人类行为和社会信念方面的潜力。
该文综述大语言模型在谈判、推理与模拟人类行为方面的研究:可评分协商游戏显示零样本思维链的能力与差距;人机价格谈判揭示人类互动短板;多LLM协商框架提升情感分析;模型在类比道德推理较强、空间推理较弱;模拟政治辩论时倾向固有偏见;竞拍环境AucArena显示策略技能但个体差异大,GPT-4有时不及人类。
多项研究探讨大语言模型模拟人类主观行为的潜力与局限:模型智能体存在偏向准确信息的固有偏差,易在科学议题上形成共识,却难以模拟持抵制观点者;引入确认偏见后可再现观点分裂。在政治模拟中,扮演具体人物且无思维链的智能体更接近人类行为,微调虽有效但有过拟合风险。模型能捕捉情绪与道德细微差别,却在立场检测上存在挑战。研究还揭示其伪装欺骗能力、文化偏见及自然语言推理表现不佳等问题。
完成下面两步后,将自动完成登录并继续当前操作。