贾佳亚团队联手剑桥清华等共推评测新范式 一秒侦破大模型“高分低能”
内容提要
港中文贾佳亚团队发布了MR-Ben数据集，用于评测大模型的推理能力。该数据集通过“阅卷式”评测方式，细致分析解题过程，避免模型背题导致的虚高分数。MR-Ben的构建流程经过精心标注和培训，能够量化模型的知识点掌握情况。评测方式难度高，但能有效区分不同模型的能力。
延伸解读
“阅卷式”评测：如何避免大模型“背题”拿高分
传统评测让模型直接答题，但模型可能在预训练中见过题目，靠记忆得高分。MR-Ben转变思路，让模型扮演“阅卷老师”，评判解题步骤的对错、定位错误并解释原因。这种方式要求模型深入理解推理过程，而非简单输出答案，从而有效避免“背题”导致的分数虚高，更能反映真实推理能力。
MR-Ben的构建：高质量标注与多维度覆盖
MR-Ben基于GSM8K、MMLU等数据集，覆盖数理化生、代码、逻辑、医药等类别，并区分难度。团队招募高水平硕博标注者对解题过程逐步标注，指出错误位置和原因。评测时，将模型的阅卷结果与人类标注对比，量化知识点掌握情况。这种精细流程保证了评测的可靠性和区分度。
评测发现：模型表现与实用启示
在MR-Ben评测中，GPT4-Turbo表现最佳，但仍有改进空间；部分开源模型如Qwen、Deepseek已接近闭源模型。小模型Phi-3-mini在低资源场景下表现突出。此外，Few-shot模式下过长上下文可能降低模型表现，而生成-反思-重生成策略对中间水平模型略有提升。这些发现为模型选型和优化提供了参考。
Q&A
MR-Ben数据集的主要目的是什么？
MR-Ben数据集用于评测大模型的推理能力，采用“阅卷式”评测方式，分析解题过程。
MR-Ben如何避免模型背题导致的虚高分数？
MR-Ben通过让模型以“阅卷”模式评测解题过程，避免了简单答题导致的分数虚高。
贾佳亚团队在MR-Ben数据集的构建中采取了哪些措施？
贾佳亚团队通过高水平硕博标注者精心标注题目，确保解题过程的准确性和高质量。
MR-Ben评测了哪些大模型？
MR-Ben评测了多种国内外一线模型，包括GPT4-Turbo、Claude3.5-Sonnet等。
MR-Ben的评测结果显示了哪些模型的表现？
评测结果显示，闭源模型GPT4-Turbo表现最佳，但仍有改进空间。
MR-Ben数据集的评测方式与传统评测方式有何不同？
MR-Ben采用复杂问题推理的评测方式，强调解题过程的分析，而传统方式多依赖最终答案的正确性。
