专治大模型“刷题”！贾佳亚团队新基准让模型只挑错不做题，GPT-4得分不到50

贾佳亚团队联合多家高校提出了一种新的测评方法，通过阅卷方式评判模型的解答步骤是否正确，避免模型背题。他们标注了一个复杂问题推理过程的评测数据集MR-Ben，该数据集更难、更有区分度，能真实反映模型推理能力。评测结果显示，GPT4-Turbo表现最佳。MR-Ben团队还发现了一些有意思的现象，如低资源场景下小模型的亮点和过长上下文对模型的影响。贾佳亚团队已在GitHub上传了一键评测的方式。