CPsyExam：用考试评价心理学的中文基准
内容提要
本文介绍了针对大型语言模型（LLMs）的评估基准，包括心理学、医学和公安领域的应用。研究提出了psybench、CMExam和CPSDbench等工具，以评估模型在各领域的表现和局限性，强调了改进空间和知识不均衡的风险。这些基准有助于全面理解LLMs的能力，并推动未来模型的优化。
延伸解读
中文心理学评估的现状与挑战
psybench作为首个全面中文心理学评估套件，通过多项选择题深入评估模型在心理学中的表现。研究发现不同领域性能差异显著，且测试集中知识不均衡可能导致结果偏斜。仅ChatGPT平均准确率超过70%，表明模型仍有较大改进空间。这提示读者，当前LLMs在心理学应用上并不均衡，需谨慎对待其输出。
医学领域评估的多样化探索
文章介绍了多个医学评估基准，如CMExam、ExplainCPE和MedBench。CMExam分析了LLMs在中国医学中的表现和挑战；ExplainCPE评估模型生成解释的能力，揭示了LLMs在理解文本和计算推理方面的局限；MedBench则包含40,041个问题，评估医学语言模型的知识和推理能力。这些工作共同表明，医学领域对LLMs的评估正走向细化和综合。
公安与心理健康：新兴评估方向
CPSDbench针对中国公安领域，评估主流LLMs在公安任务中的性能，并引入创新指标。心理健康领域则缺乏全面基准，文章介绍了首个适用于该领域的全面基准，包含六个子任务、三个维度，系统评估LLMs能力。这些新方向填补了空白，但结果也显示当前模型在专业领域仍有明显不足，需进一步优化。
多模态与多语言评估的进展
EXAMS-V是一个多学科多模态多语言考试基准，包含20,932个多项选择题，涵盖多种多模态特征和11种语言。评估表明，即使GPT-4V和Gemini等先进模型也面临挑战。此外，M3Exam和Language-Model-as-an-Examiner框架分别从多语言多模态和无参考评估角度推进了LLMs评估，凸显了复杂推理和跨语言知识的难度。
Q&A
psybench 是什么，它的主要功能是什么？
psybench 是第一个全面的中文评估套件，专注于评估心理学领域的模型表现，帮助识别知识不均衡的风险。
CMExam 数据集如何解决医学领域的评估挑战？
CMExam 数据集通过深入分析 LLMs 在中国医学中的表现，提供了针对医学领域的评估标准，解决了评估挑战。
CPSDbench 是针对哪个领域的评估基准？
CPSDbench 是针对中国公安领域的评估基准，旨在评估 LLMs 在公安任务中的性能。
MedBench 如何评估医学语言模型的能力？
MedBench 是一个综合性的基准测试，评估医学语言模型的知识和推理能力，包含来自医学各领域的问题。
当前 LLMs 在心理健康领域的评估存在哪些不足？
目前缺乏全面的评估基准，导致对 LLMs 在心理健康领域能力的评估不够系统和深入。
EXAMS-V 基准的特点是什么？
EXAMS-V 是一个多学科多模态的考试基准，包含多种语言和复杂推理的问题，旨在全面评估视觉语言模型。
