FoundaBench: 评估大型语言模型在中文基础知识能力上的表现
内容提要
本文介绍了多个针对大型语言模型（LLMs）的评估基准，如F-Eval、psybench、E-EVAL、MedBench和LHMKE，旨在评估其在法律、心理学、教育和医学等领域的能力。研究发现，尽管一些模型优于基础模型，但在复杂科目上仍存在显著差距，尤其在中文任务处理上亟需改进。
延伸解读
中文评估基准的领域覆盖与设计特点
文章汇总了多个针对中文大语言模型的评估基准，覆盖法律、心理学、教育、医学、多学科知识等领域。这些基准在任务设计上各有侧重：F-Eval关注基本能力，E-EVAL针对K-12教育，MedBench包含4万余医学问题，LHMKE涵盖30个学科。它们共同反映出中文评估正从通用能力向垂直领域深化，但不同基准的题目类型、难度层次和评估维度存在差异，读者需注意其适用范围。
模型表现：进步与短板并存
评估结果显示，部分中文优先模型在特定任务上已能媲美或超越GPT-4，例如E-EVAL中许多模型得分超过GPT-4.0。然而，几乎所有模型在数学等复杂科目上表现不佳，CMMLU中大多数模型平均准确率不足50%，psybench中仅ChatGPT平均准确率超70%。这表明模型在基础知识记忆和简单推理上有所进步，但在复杂推理和跨领域泛化上仍有显著短板。
评估偏差与提示策略的影响
文章指出，评估中存在偏差和性能差距问题，如CIF-Bench揭示的零射击泛化能力不足，psybench发现测试集知识不均衡可能导致结果偏斜。此外，提示策略对性能影响显著：E-EVAL显示思维链技术仅在挑战性科学学科有效，而一键提示对文科学科更有利。这提醒研究者和应用者在解读评估结果时，需考虑基准设计偏差和提示方法带来的波动。
对中文LLM发展的启示
综合多个基准的发现，中文大语言模型在复杂科目和需要深度推理的任务上亟需改进。法律领域GPT-4表现最佳但仍有提升空间，医学领域MedBench揭示了能力与限制。这些评估为模型迭代提供了方向：不仅要扩大知识覆盖，还需增强逻辑推理和领域适应能力。同时，评估基准本身也需持续完善，以减少偏差并更全面反映模型真实水平。
Q&A
F-Eval 评估基准的主要目的是什么？
F-Eval 旨在评估大型语言模型的基本能力，包括表达能力、常识和逻辑。
E-EVAL 评估基准主要针对哪个领域？
E-EVAL 是专为中国 K-12 教育设计的评估基准，涵盖多个学科。
在心理学领域，psybench 评估了哪些方面？
psybench 评估模型在心理学中的优势和劣势，发现不同领域的性能差异显著。
LHMKE 评估基准的特点是什么？
LHMKE 是一个多学科知识评估基准，涵盖 30 个学科的 75 个任务，提供全面评估。
MedBench 主要评估什么内容？
MedBench 评估医学语言模型的知识掌握和推理能力，包含来自医学各领域的问题。
大型语言模型在中文任务处理上存在哪些问题？
大型语言模型在中文任务处理上存在显著的性能差距和改进空间。
