这篇论文探讨了大型语言模型（如GPT-3）在多项选择题（MCQA）中的表现，提出了PriDe方法以减轻选择偏见，并评估了模型在不同样本设置下的能力。研究发现，文本答案比标记概率更鲁棒，且模型对选项顺序敏感。实验结果显示模型在多项选择任务中的一致性和性能，强调了在使用MCQ评估模型时需谨慎。

本研究探讨了大型语言模型在多项选择题中的选择偏见，提出了PriDe方法以减轻这种偏见。通过计算先验分布，PriDe在无标签情况下提高了模型的效果和效率。研究分析了选项顺序对模型鲁棒性的影响，并提出了校准预测的方法，显著提升了模型性能。此外，研究发现文本答案在干扰和选项顺序变化时更具鲁棒性，强调了对大型语言模型评估和改进的必要性。

研究发现，大型语言模型中的多项选择题的选项编号与选择偏见密切相关。提出了一种名为PriDe的新方法，通过计算先验分布解决这一问题，将选项内容与编号分离。PriDe方法无需标签，推断过程中效果和计算效率更高。通过对不同领域样本训练，证明PriDe方法估计的先验分布具有良好的泛化能力，具有实用潜力。