多项选择题是高效且稳健的 LLM 评估器
内容提要
本文评估了九个大语言模型在中英文问答数据集上的表现，发现模型在多选题中存在顺序敏感性。研究提出了衡量模型输出一致性和置信度的方法，并指出多选题的可靠性较低。尽管模型能生成形式良好的问题提示，但干扰项未能涵盖学生常见错误。因此，建议在使用多选题评估模型前需谨慎测试其任务理解能力。
延伸解读
顺序敏感性对评估结果的影响
研究发现，大语言模型在多项选择题中存在顺序敏感性，即竞争第一位置的选项更容易被选择。这意味着模型可能并非基于知识推理，而是受到选项排列顺序的干扰。因此，在使用多项选择题评估模型时，选项顺序可能显著影响得分，导致评估结果不可靠。这提醒研究者和开发者，在设计和解读多项选择题基准时，必须考虑顺序效应，并采取随机化选项顺序等措施来减少偏差。
多选题评估的可靠性问题
文章指出，多选题在一致性和预期校准误差方面较不可靠，且现有基准测试未能充分捕捉大语言模型的真实能力。通过分析26个小型开源模型，发现65%的模型不能理解任务，只有4个模型能正确选择答案，其中仅5个模型对选项顺序无关。这些数据表明，多选题可能高估或低估模型能力，因此需要更健全的评估机制，如结合文本答案评估，以更准确地衡量模型性能。
干扰项生成与人工协作的潜力
研究显示，大语言模型能生成形式良好的问题提示，但其生成的干扰项无法涵盖学生常见错误和误解。这意味着自动生成的多选题可能缺乏教学价值。然而，人工智能与人类教育者的合作有潜力提高多选题生成的效率和质量。教育者可以修正和补充干扰项，使其更贴近真实错误，从而提升评估的有效性。这提示我们，在利用LLM生成评估材料时，应结合人类专业知识进行优化。
Q&A
多项选择题在评估大语言模型时存在哪些问题？
多项选择题的可靠性较低，模型生成的干扰项未能涵盖学生常见错误，且存在顺序敏感性。
如何衡量大语言模型的输出一致性和置信度？
研究提出了两种方法来衡量模型输出的一致性和置信度。
人工智能如何提高多项选择题的生成效率？
人工智能与人类的合作有潜力提高多项选择题生成的效率和有效性。
大语言模型在数学推理能力上表现如何？
大语言模型在数学推理能力上表现出不同水平，但整体性能远非稳健。
使用多项选择题评估模型时需要注意什么？
在使用多项选择题评估模型前，需谨慎测试其任务理解能力。
现有的多项选择问答评估方法存在哪些不足？
现有方法未能充分捕捉大语言模型的真实能力，需要更健全的评估机制。
