CogBench：一个大型语言模型进入心理学实验室
内容提要
该文综述大语言模型评估研究，指出LLM作评估器存在约40%认知偏差，机器偏好与人类不一致；现有基准在心理健康、法律、多主体决策等领域有局限，GPT-4表现突出但提升空间大。研究呼吁转向元推理等新范式，以更准确评估LLM认知能力。
延伸解读
LLM作为评估器的偏差风险
文章指出，LLM作为自动评估器时存在约40%的认知偏差，如自我中心偏差，且机器偏好与人类偏好的一致性较低（RBO仅49.6%）。这意味着直接使用LLM进行与人类对齐的自动注释可能不可靠，读者需警惕其评估结果的稳健性。
现有基准的领域局限
文章综述了心理健康、法律、多主体决策等领域的基准，发现它们各有侧重但均存在局限。例如，心理健康基准显示LLM有改进空间，法律基准中GPT-4表现最佳但提升空间大，多主体环境中模型间能力差距达三倍。这些发现提示单一基准难以全面评估LLM能力。
评估范式转变的必要性
文章强调，传统结果导向的评估（如GSM8K）可能因饱和而无法区分模型认知能力。元推理评估范式能揭示潜在缺陷，例如GPT-4在元推理基准上准确率是GPT-3.5的十倍。这呼吁研究者转向更综合的评估方法，以准确衡量LLM的真正认知能力。
Q&A
LLM作为评估器存在哪些认知偏差？
研究发现LLM作为评估器存在六种认知偏差，如自我中心偏差（模型倾向于高度评估自身输出），在所有模型中的比较平均偏差率为40%。
机器偏好与人类偏好的一致性如何？
机器偏好与人类偏好不一致，平均Rank-Biased Overlap（RBO）得分为49.6%，表明LLM可能仍不能用于与人类偏好对齐的自动注释。
现有LLM基准在心理健康领域有什么不足？
目前缺乏对LLM在心理健康领域能力评估的全面基准，因此研究引入了首个适用于心理健康领域的全面基准，包括六个子任务、三个维度，系统评估LLM在心理健康领域的能力。
GPT-4在法律领域的表现如何？
GPT-4是在法律领域表现最好的模型，但还有很大提升空间。
什么是元推理评估范式？
元推理评估范式是一种新颖的评估范式，挑战LLM进行元推理，将重点从以结果为导向的评估转向更综合的评估，能有效区分模型之间的认知能力。例如，在该基准测试中，GPT-4的性能比GPT3.5准确率高十倍。
在多主体环境中，LLM的能力差距有多大？
研究通过游戏和博弈论场景评估了七种LLM，发现最强模型GPT-4和最弱模型Llama-2-70B之间存在三倍的能力差距，同时概率图模型增强了所有模型的能力，平均提高了50%。
