认知和行为是否一致：探讨大型语言模型的个性
内容提要
多项研究综述指出，用心理测量测试评估大语言模型人格的可靠性存疑：模型常同时肯定正反向题目，与人类反应存在系统偏差，轻微扰动即显著降低问答一致性。模型普遍表现为高开放性、低外向性，参数越多越开放尽责，并可通过提示动态切换人格类型。研究强调需改进测试方法、审慎解释结果并关注伦理影响。
延伸解读
心理测量测试的适用性挑战
文章指出，用为人类设计的心理测量测试评估大语言模型人格时，模型常同时肯定正反向题目，与人类反应存在系统偏差。轻微扰动选项顺序即可显著降低问答一致性，且模型在否定一致性上表现低下。这表明当前测试方法可能无法准确捕捉模型认知，直接套用人类测试结果解释模型人格存在风险。
模型人格的稳定特征与动态切换
多项研究发现，大语言模型普遍表现出高开放性和低外向性，参数越多越倾向于开放性和责任心。同时，通过提示工程，模型可以动态切换人格类型，并在不同情境下生成内容时人格表现有显著差异。这种适应性虽展示了灵活性，但也引发对模型人格定义和测量一致性的重新评估。
评估方法的改进方向与伦理考量
文章强调，需要开发更科学的方法来准确可靠地评估大语言模型的人格特点，并审慎解释结果。研究还探讨了塑造模型人格的潜在应用和伦理影响，特别是关于负责任地使用LLM。在得出关于模型“个性”的强结论前，应更加关注测试有效性，并考虑伦理影响。
Q&A
用心理测量测试评估大语言模型的人格可靠吗？
多项研究综述指出，这种评估的可靠性存疑。模型常同时肯定正反向题目，与人类反应存在系统偏差，轻微扰动即显著降低问答一致性。
大语言模型在人格测试中通常表现出哪些人格特质？
模型普遍表现为高开放性、低外向性，参数越多越开放尽责，并可通过提示动态切换人格类型。
为什么大语言模型的人格测试结果不能像人类测试结果一样解释？
因为LLMs对个性测试的反应与典型人类反应存在系统偏差，例如经常同时肯定反向编码项目，且提示变化不遵循人类五因素分离。
大语言模型能否通过提示改变其人格类型？
可以。研究显示，通过角色扮演提示，LLMs能在不同个性类型之间动态切换，表现出适应性。
评估大语言模型人格时存在哪些方法学问题？
问题包括：模型对选项顺序扰动敏感，否定一致性低，提示格式无法准确捕捉认知，且自我评估测试存在内在偏见和不一致性。
研究大语言模型人格有什么伦理影响？
研究强调需审慎解释结果并关注伦理影响，特别是关于负责任地使用LLM，以及开发更科学评估方法的必要性。
