LLM 模型模拟人类心理行为的有限能力：心理测量分析
内容提要
本文研究了大型语言模型（LLMs）在模拟人格特质方面的能力，发现其对个性测试的反应与人类存在系统偏差，影响评估结果。同时探讨了LLMs在社会科学中的应用及其潜在的伦理影响，强调需谨慎使用心理测量工具以确保有效性。
延伸解读
心理测量工具在LLM评估中的适用性挑战
文章指出，LLM对个性测试的反应与人类存在系统偏差，例如同时肯定反向编码项目，且提示变化不遵循人类五因素结构。这表明直接套用人类心理测量工具评估LLM可能无效，需重新审视测试的有效性。
提示格式对LLM回答一致性的影响
研究发现，即使简单扰动选项顺序，也会显著降低LLM的问答能力，且多数模型在否定一致性上表现低下。这提示当前提示方法可能无法准确捕捉模型认知，需改进提示设计以提高稳健性。
LLM推断心理特征的局限与偏差
利用LLM从数字足迹推断人格特质时，推断得分与自我报告分数的平均相关性仅为r=.29，且存在性别和年龄偏差。这表明LLM在推断个体心理特征方面准确性有限，应用时需谨慎。
PsychoBench框架的提出与意义
为系统评估LLM心理特性，研究提出PsychoBench框架，涵盖人格特征、人际关系、动机测试和情绪能力。该框架有助于标准化评估，但需注意越狱方法可能绕过安全对齐，影响结果解释。
Q&A
大型语言模型在模拟人格特质方面的能力如何？
大型语言模型在模拟人格特质方面的能力有限，且其对个性测试的反应与人类存在系统偏差，影响评估结果。
LLMs在个性测试中表现出哪些系统偏差？
LLMs在个性测试中表现出对反向编码项目的肯定回答，且不同提示的变化未能遵循人类样本中的个性因素分离。
使用心理测量工具评估LLMs的有效性存在哪些问题？
使用心理测量工具评估LLMs的有效性存在可靠性和有效性问题，需谨慎使用以确保结果的有效性。
LLMs在社会科学中的应用有哪些潜在伦理影响？
LLMs在社会科学中的应用可能导致对个性化人机交互的误解，且使用不当可能影响心理测量的结果和解释。
PsychoBench框架的主要内容是什么？
PsychoBench框架评估LLMs的心理特性，涵盖人格特征、人际关系、动机测试和情绪能力四个部分。
LLMs在回答一致性方面的表现如何？
LLMs在回答一致性方面表现低下，简单的提示格式变化会显著影响其问答能力。
