多项选择题与大型语言模型：以虚构医疗数据为例的案例研究
内容提要
本研究评估了九个大语言模型在中英文医学问答中的表现，发现模型对多选题的选项顺序敏感且一致性较差。分析小型开源模型时，发现大多数模型理解任务的能力不足。研究提出了新的评估方法，强调改进医学问答模型性能的必要性，并呼吁开发新的基准和度量指标。
延伸解读
选项顺序敏感性的实际影响
研究发现大语言模型在医学多选题中对选项顺序敏感，竞争第一位置的选项更容易被选择。这意味着模型可能并非真正理解问题，而是依赖位置线索。在临床决策支持或医学考试评估中，这种偏差可能导致错误答案，影响可靠性。因此，使用多选题评估模型时，需警惕顺序效应，并考虑随机化选项位置以减少偏差。
小型开源模型的零样本推理局限
对26个小型开源模型的分析显示，65%的模型不能理解任务，仅4个能正确选择答案，且只有5个对选项顺序无关。这表明当前广泛使用的开源模型在零样本推理能力上表现不佳，尤其在医学领域。读者应注意，直接部署这些模型进行医学问答可能不可靠，需先进行任务理解测试和微调。
评估方法一致性与置信度
研究提出了两种衡量大语言模型输出一致性和置信度的方法，并发现多选题相较长篇生成题在一致性和预期校准误差方面较不可靠。这提示我们，仅凭准确率评估模型可能不够，还需关注其输出的稳定性和置信度校准。在医学问答中，低一致性可能意味着模型答案随机，影响临床信任。
医学问答基准的不足与改进方向
文章指出，现有基准测试数据集在捕捉真实临床病例复杂性和提供参考解释方面存在不足，且非英语语言性能改进空间大。因此，研究呼吁开发新的基准和度量指标，以支持可解释医疗问答。读者应关注未来更贴近临床实际、多语言且可解释的评估标准。
Q&A
这项研究评估了多少个大语言模型的表现？
研究评估了九个大语言模型的表现。
研究发现大语言模型在多选题中存在哪些问题？
研究发现模型对多选题的选项顺序敏感且一致性较差。
小型开源模型的表现如何？
分析显示65%的模型不能理解任务，只有4个模型能正确选择答案。
研究提出了哪些改进建议？
研究强调改进医学问答模型性能的必要性，并呼吁开发新的基准和度量指标。
当前开源模型在零-shot推理能力方面的表现如何？
当前广泛使用的开源模型在零-shot推理能力方面表现不佳。
研究中提到的评估方法有哪些？
研究提出了两种衡量大语言模型输出一致性和置信度的方法。
