加强符号绑定使得大型语言模型可靠的多选选择器
内容提要
这篇论文探讨了大型语言模型（如GPT-3）在多项选择题（MCQA）中的表现，提出了PriDe方法以减轻选择偏见，并评估了模型在不同样本设置下的能力。研究发现，文本答案比标记概率更鲁棒，且模型对选项顺序敏感。实验结果显示模型在多项选择任务中的一致性和性能，强调了在使用MCQ评估模型时需谨慎。
延伸解读
选项顺序敏感性与位置偏差
文章指出，大型语言模型在多项选择题中存在明显的顺序敏感性，竞争第一位置的选项更容易被选择。这种位置偏差在双语（中文和英文）的四个问答数据集上均被观察到，表明模型可能依赖选项位置而非内容进行判断。因此，在评估模型时，需注意选项顺序对结果的影响，避免因位置偏差导致评估失真。
评估方法：文本答案优于标记概率
研究发现，文本答案比第一个标记概率更具鲁棒性，尤其在问题干扰和选项顺序改变的情况下。这意味着，在评估大型语言模型的多项选择题能力时，直接评估文本答案可能更可靠，而依赖第一个标记概率可能导致不稳定的结果。这一发现对设计更稳健的评估指标具有参考价值。
小型开源模型的任务理解问题
通过分析26个小型开源模型，发现65%的模型不能理解任务，只有4个模型能正确选择答案，其中仅5个模型对选项顺序无关。这些结果对于广泛使用多项选择题测试的模型来说相当令人担忧，建议在使用MCQ评估LLMs之前，谨慎测试其任务理解能力，以确保评估的有效性。
PriDe方法：减轻选择偏见
为了减轻选择偏见，文章提出了PriDe方法，通过计算先验分布将选项内容与选项编号分离。该方法无需标签，在推断过程中具有更高的效果和计算效率，并且在不同领域的样本上训练后，估计出的先验分布具有良好的泛化能力，在更广泛的场景中具有实用潜力。
Q&A
PriDe方法是如何减轻选择偏见的？
PriDe方法通过计算先验分布，将选项内容与选项编号分离，从而减轻选择偏见。
大型语言模型在多项选择题中的表现如何？
大型语言模型在多项选择题中表现出较高的准确性，但对选项顺序敏感，且存在选择偏见。
研究发现文本答案的鲁棒性如何？
研究发现文本答案比第一个标记概率更鲁棒，尤其在问题干扰和选项顺序改变时。
在使用多项选择题评估大型语言模型时需要注意什么？
在使用多项选择题评估大型语言模型时需谨慎，特别是要测试模型的任务理解能力。
研究中提到的小型开源模型的表现如何？
分析发现65%的小型开源模型不能理解任务，只有少数模型能正确选择答案。
如何提高大型语言模型在多项选择任务中的性能？
通过调整选项的位置策略和校准预测的方法，可以提高不同模型和评估指标的性能。
