大规模语言模型中引发大五人格特质的文本分析：基于分类器驱动方法
内容提要
本文综述多项研究，探讨用心理测量测试评估大语言模型人格特质的可靠性。研究发现，LLM对人格测试的反应与人类存在系统偏差，常同时肯定正反向题目，提示词变化也不符合人类五因素结构。研究还尝试通过词典调整、角色扮演等方法操控模型个性，并指出从数字足迹推断人格存在偏差，强调应关注测试有效性及伦理影响。
延伸解读
测试有效性：LLM人格评估的挑战
文章指出，LLM对人格测试的反应与人类存在系统偏差，常同时肯定正反向题目，提示词变化也不符合人类五因素结构。这表明直接套用人类心理测量工具评估LLM人格可能无效，读者需警惕测试结果被过度解读。
人格操控：技术方法与局限
研究尝试通过词典调整、角色扮演等方法操控模型个性，例如在解码阶段调整概率或使用角色扮演提示。这些方法能在不更新参数的情况下改变输出，但效果受提示设计和模型架构影响，且可能不稳定。
数字足迹推断：偏差与伦理风险
利用LLM从数字足迹推断人格时，推断得分与自我报告的平均相关性仅为r=.29，且存在性别和年龄偏差。这提示此类应用需谨慎，避免因偏差导致误判，并关注隐私和伦理影响。
Q&A
用心理测量测试评估大语言模型的人格特质可靠吗？
不可靠。研究表明，LLMs对个性测试的反应与典型人类反应存在系统偏差，例如经常同时肯定正向和反向编码项目，且提示变化不遵循人类五因素结构，因此结果不能像人类测试结果一样解释。
有哪些方法可以操控大语言模型的人格特质？
方法包括：使用无监督构建的个性化词典调整解码阶段预测下一个词的概率；通过角色扮演提示让模型动态切换个性类型；以及提供不同类型的语境来精准控制模型表现。
从数字足迹推断人格特质准确吗？
不准确。研究发现GPT-3.5和GPT-4从Facebook状态更新中推断的五大人格特征与自我报告分数的平均相关性仅为r=.29，且推断存在性别和年龄偏差。
大语言模型能模拟出稳定的人格特质吗？
研究对Llama2、GPT4和Mixtral等模型进行仿真，分析了它们模拟的人格特质及其稳定性，发现LLMs能表现出明显的AInality特征和多样化的个性类型，并具有对外部指令的动态变化能力。
评估大语言模型人格时存在哪些伦理问题？
文章强调应关注测试有效性及伦理影响，特别是关于负责任地使用LLM，因为从数字足迹推断人格存在偏差，且模型可能捕捉和放大人类偏见。
当前提示格式能准确捕捉大语言模型的认知吗？
不能。研究发现即使对选项顺序进行简单扰动也足以显著降低模型的问答能力，且大多数LLMs在否定一致性方面表现低下，提示目前的普遍做法无法准确捕捉模型的认知。
