互动中的 LLM Agents：大型语言模型互动群体中个性一致性和语言对齐的测量
内容提要
本文综述大语言模型人格特质研究：采用心理测量与问卷评估模型人格，通过角色设定、个性化词典生成定制特质，并探索人格对齐与协作代理。研究表明模型能模拟五大人格，但推断与自评相关性较低，存在性别年龄偏差，伦理与可靠性仍需关注。
延伸解读
人格模拟的可靠性挑战
文章指出，大型语言模型虽能模拟五大人格特质，但推断得分与自我报告的相关性较低（平均r=.29），且存在性别和年龄偏差。这意味着当前基于LLM的人格评估可能不够准确，尤其在涉及个体差异时需谨慎解读。读者应关注模型输出与真实人类特质之间的差距，避免过度依赖自动推断结果。
人格对齐的组织应用前景
文章探讨了将LLM与人类用户对齐的“人格对齐”概念，并提出了为AI进行人格微调的必要性。在组织环境中，这有助于AI适应特定角色，提升人机协作效率。但文章也强调，这仍是一个新兴领域，需要进一步研究伦理和可靠性问题，实际部署前应评估其潜在影响。
个性化词典的精细调控
文章介绍了一种通过无监督构建的个性化词典，在解码阶段调整语言模型预测下一个词的概率，从而精细操纵个性特质的方法。这种方法无需更新模型参数，可轻松集成到其他模型中。这为定制AI人格提供了灵活手段，但读者需注意其效果可能受词典质量和任务场景限制。
协作代理的协调局限
文章通过招聘会模拟案例研究了协作生成代理的协调能力，结果显示这些代理在任务导向的社会背景中表现出一定性能，但仍存在限制，阻碍了它们在更复杂协调任务中的效果。这表明当前LLM代理在社交模拟中虽有潜力，但距离完全自主协作还有差距，需进一步优化评估协议。
Q&A
大型语言模型能模拟五大人格特质吗？
是的，研究表明大型语言模型能够模拟五大人格特质。例如，通过角色设定和条件设置，模型可以生成具有特定人格特质的输出，并且能够模拟人类个性特征，尤其是与教师角色相关联的个性。
LLM推断的人格特质与自我报告的结果一致性如何？
研究发现，GPT-3.5和GPT-4在零样本学习情景下从用户的Facebook状态更新中推断出的五大人格特征得分与自我报告的特征分数之间的平均相关性为r = .29（范围 = [.22, .33]），相关性较低。
LLM在人格推断中存在哪些偏差？
LLM在人格推断中存在性别和年龄方面的偏差。例如，从用户数字足迹推断人格特质时，推断结果显示出性别和年龄的偏差。
如何通过个性化词典调整个性特质？
一种新方法是通过使用一组无监督构建的个性化词典，在解码阶段调整原始语言模型预测下一个词的概率，从而精细地操纵个性特质，并且无需更新参数即可轻松集成到其他语言模型中。
什么是人格对齐，它在组织环境中有何应用？
人格对齐是指将大型语言模型与人类用户对齐，超出基本对齐的范畴，为语言模型提供“人格对齐”。在组织环境中，通过原始案例研究展示了为人工智能进行人格微调的必要性，并提出了将人类设计的测试应用于人工智能、工程专门的人工智能人格测试以及塑造适应组织角色的人工智能人格等问题。
协作生成代理在任务导向的社会模拟中表现如何？
协作生成代理被赋予一致的行为模式和解决任务的能力，在模拟的招聘会环境中进行案例研究。评估结果表明，这些代理显示出有希望的性能，但也存在限制，阻碍了它们在更复杂的协调任务中的效果。
