MMLU-Pro+: 评估大语言模型中的高阶推理和捷径学习
内容提要
本文探讨了大型语言模型（LLMs）的能力与局限性，提出了新基准以评估其推理能力和问答性能。研究发现，LLMs在多项选择题和条件问答中对选项顺序敏感，并提出了改进策略。新基准如NPHardEval和MMLU-Pro旨在提高评估准确性，强调模型理解能力的重要性。
延伸解读
选项顺序偏差：评估中的隐藏陷阱
文章指出，大型语言模型在多项选择题中对选项顺序敏感，存在位置偏差。这意味着模型可能并非基于知识选择答案，而是受选项排列影响。这种偏差会扭曲评估结果，使模型性能被高估或低估。通过调整选项位置策略，可以缓解或放大偏见，而校准预测的方法能提升不同模型和指标的性能。因此，在评估LLM时，需考虑选项顺序的影响，并采用校准技术以获得可靠结论。
新基准如何提升评估严谨性
为更准确评估LLM能力，文章介绍了NPHardEval、AQA-Bench、MMLU-Pro和MMLU-SR等新基准。NPHardEval通过每月更新算法问题减轻过拟合；AQA-Bench采用交互式协议评估顺序推理；MMLU-Pro将选项从4个扩展到10个并消除琐碎问题，使准确率下降16%-33%，且对提示敏感性降低；MMLU-SR通过修改术语测试真实理解。这些基准从不同角度提高了评估的挑战性和区分度。
条件问答的进展与局限
在条件问答领域，微调后的LLM在是/否问题上表现提升，精确匹配和F1分数增加7-8个点，甚至可超越现有技术。然而，在抽取性问答上，这些模型落后10个点以上，且难以减少注入错误信息的风险。与神谕检索器的对比凸显了有效证据检索的关键作用。这表明，尽管LLM在部分任务上进步显著，但在需要精确抽取和抗干扰的场景中仍有明显短板，未来需改进训练任务和探索基于提示的技术。
推理能力评估的多样发现
AQA-Bench的评估揭示了LLM顺序推理的有趣现象：闭源模型如GPT-4和Gemini通常优于开源模型；提供简单交互示例可能损害少样本性能；在最优策略前继步骤有限时，小模型性能可大幅提升；性能与模型大小的缩放关系并不总是显著，有时甚至相反。这些发现说明，LLM的推理能力受多种因素影响，不能简单以模型规模推断，需结合具体任务和交互方式综合评估。
Q&A
MMLU-Pro+的主要目标是什么？
MMLU-Pro+旨在通过集成更具挑战性的问题来扩展MMLU基准测试，以提高对大型语言模型推理能力的评估准确性。
大型语言模型在多项选择题中存在哪些问题？
大型语言模型在多项选择题中对选项顺序敏感，并存在位置偏差的问题。
如何改善大型语言模型的推理能力评估？
通过引入NPHardEval新基准，可以更客观地评估大型语言模型的推理能力，减少过拟合风险。
MMLU-SR数据集的目的是什么？
MMLU-SR旨在通过使用修改后的术语来挑战大型语言模型的性能，以测试其真实理解能力。
AQA-Bench基准的特点是什么？
AQA-Bench是一个评估大型语言模型在算法环境中的顺序推理能力的新型基准，具有互动评估协议。
如何提高大型语言模型在抽取性问答中的表现？
研究表明，经过微调的LLMs在某些情况下可以超越现有技术，但仍需改进以减少注入错误信息的风险。
