该研究提出了一个评估 LLMs 不同心理方面的框架 PsychoBench,其中包括了四个明确分类的部分:人格特征、人际关系、动机测试和情绪能力。研究使用了五个常用模型进行测试,并采用了越狱方法绕过安全对齐协议,测试了 LLMs 的内在特性。
该研究探讨了大型语言模型在初学者编程任务中的表现,并提出了利用LLMs进行教学和评估的建议。研究选取了72个Python任务,结果表明得分高,正确响应率为94.4%至95.8%,文本解释和程序代码的可用性可靠。这为将LLMs纳入编程教育和评估中打开了新的途径。