利用外部评估在大型语言模型中识别多个人格
内容提要
多项研究探讨用MBTI、大五人格等心理测试评估大语言模型人格的可行性。实验发现，模型普遍高开放性、低外向性，参数越多越开放尽责；但测试存在系统偏差，模型常同时肯定正反向题目，结果难以按人类标准解释。研究提出AInality概念，显示模型可经角色扮演动态切换人格，并揭示其隐藏特质。
延伸解读
测试工具的有效性挑战
文章指出，将人类人格测试直接用于大语言模型存在系统偏差。模型常同时肯定正反向题目，导致结果无法按人类标准解释。提示工程改变人格类型的效果也不符合人类五因素分离模式。因此，在得出关于模型“人格”的结论前，需更关注测试有效性。
模型规模与人格倾向
实验显示，大语言模型普遍表现出高开放性和低外向性，且参数越多越倾向于开放性和责任心。不同数据集上的微调模型仅产生微小调整。这表明模型规模可能影响其人格特质表现，但调整幅度有限。
AInality与动态人格
研究提出AInality概念，确认LLM具有类似人类的个性模式。通过角色扮演提示，模型能在不同人格类型间动态切换。项目性测试如WUSCT还揭示了直接提问难以获取的隐藏特质，为理解模型认知过程提供了多角度视角。
提示格式的稳健性问题
文章提到，当前提示格式可能无法使LLM一致稳健地回答。简单扰动选项顺序就会显著降低问答能力，且多数模型在否定一致性上表现低下。这提示普遍做法无法准确捕捉模型认知，需改进评估方法。
Q&A
用MBTI测试大语言模型的人格，结果可靠吗？
研究指出，MBTI并非严谨的评估工具，但能粗略反映LLMs与人类人格的相似程度。然而，LLMs对人格测试的反应与典型人类存在系统偏差，例如经常同时肯定正反向题目，因此结果不能像人类测试结果一样直接解释。
大语言模型通常表现出怎样的人格特质？
实验显示，大型语言模型普遍表现出高度的开放性和低度的外向性，且参数越多越倾向于开放性和责任心。在不同数据集上对细调模型会产生微小的调整。
什么是AInality？
AInality是研究提出的概念，指大型语言模型呈现出与人类个性类似的模式。通过MBTI、大五人格等测试确认LLM的个性类型，并借助角色扮演提示展示其在不同人格类型间动态切换的能力。
大语言模型能通过角色扮演改变人格吗？
可以。研究通过引入角色扮演提示，展示了LLMs的适应性，显示它们能够在不同个性类型之间动态切换。
为什么自我评估测试无法准确测量LLM的人格？
自我评估测试的结果不可靠，无法客观准确地测量机器的人格特点，原因是存在内在的偏见和不一致性。LLMs经常同时肯定正反向题目，且提示变化不遵循人类样本中五个独立个性因素的明确分离。
项目性测试如何揭示LLM的隐藏人格？
使用项目性测试如华盛顿大学句子完成测试（WUSCT），可以揭示LLMs个性的隐藏方面，这些方面通过直接提问很难获取。项目测试允许对LLMs的认知过程和思维模式进行深入探索，为AInality提供多方面的视角。
