锚定答案：揭示 GPT-2 在多项选择问题中的位置偏差
内容提要
本研究探讨了大型语言模型在多项选择题中的选择偏见，提出了PriDe方法以减轻这种偏见。通过计算先验分布，PriDe在无标签情况下提高了模型的效果和效率。研究分析了选项顺序对模型鲁棒性的影响，并提出了校准预测的方法，显著提升了模型性能。此外，研究发现文本答案在干扰和选项顺序变化时更具鲁棒性，强调了对大型语言模型评估和改进的必要性。
延伸解读
位置偏见：LLM多项选择的隐藏陷阱
文章指出，大型语言模型在多项选择题中对选项顺序敏感，存在位置偏差。这种偏差可能导致模型不是基于内容而是基于选项位置进行选择，从而影响评估的可靠性。例如，在训练数据中答案位置分布偏斜时，模型可能学习到虚假的位置线索。因此，在评估LLM时，需要警惕位置偏见对结果的影响，并采取相应措施进行校准。
PriDe方法：无标签去偏的新思路
PriDe方法通过计算先验分布，将选项内容与选项编号分离，从而减轻选择偏见。其优势在于无需标签，且在推断过程中具有更高的效果和计算效率。实验证明，PriDe估计的先验分布具有良好的泛化能力，在不同领域样本上训练后，可应用于更广泛的场景。这为LLM在多项选择题中的去偏提供了一种实用且高效的解决方案。
文本答案评估：更鲁棒的选择
研究发现，在问题干扰和选项顺序改变的情况下，文本答案比第一个标记概率更具鲁棒性。这意味着，在评估LLM时，直接评估文本答案可能比依赖第一个标记概率更可靠。这一发现提示我们，在设计和改进LLM评估方法时，应优先考虑文本答案的评估方式，以提高评估的稳定性和准确性。
干扰项生成：LLM的新应用
文章提到，通过从题库自动检索题目作为上下文示例，可以引导ChatGPT等LLM生成相关干扰项。教师评价显示，53%的生成干扰项被评为高质量，优于最先进的模型。这表明LLM在自动生成教育评估材料方面具有潜力，可以减轻教师负担，并为学习者提供更丰富的练习资源。
Q&A
PriDe方法是如何减轻选择偏见的？
PriDe方法通过计算先验分布，将选项内容与选项编号分离，从而减轻选择偏见，且无需标签。
选项顺序对大型语言模型的影响是什么？
研究发现大型语言模型对选项顺序敏感，选项位置的调整可以缓解或放大模型的偏见。
如何提高大型语言模型在多项选择题中的性能？
可以通过校准预测的方法和调整选项位置策略来提高大型语言模型在多项选择题中的性能。
文本答案在干扰情况下的表现如何？
文本答案在干扰和选项顺序变化时表现出更高的鲁棒性，优于对第一个标记概率的评估。
PriDe方法的计算效率如何？
PriDe方法在推断过程中具有更高的效果和计算效率，展现出良好的泛化能力。
研究中发现的答案位置偏差对模型有什么影响？
答案位置分布偏斜时，位置预测模型容易学习到虚假的位置线索，导致在不同位置上无法提供正确答案。
