消除语言模型的位置偏见：一种机制化方法
内容提要
本文研究了大型语言模型中的位置偏见问题，提出通过调整位置隐状态和使用零样本去偏置框架来减轻偏见。实验结果表明，这些方法有效提升了模型在长上下文和抽取式问答任务中的表现，改善了模型对位置的理解和利用。
延伸解读
位置偏见的微观机制
文章指出，注意力权重和因果性注意掩码是位置偏见的微观表现。这意味着模型对序列中不同位置的关注程度不均，并非随机，而是由注意力机制的结构性因素导致。理解这一点有助于从模型内部解释为何长上下文任务中中间部分信息常被忽略，也为后续调整位置隐状态提供了理论依据。
去偏方法的多样性与效果
文章汇总了多种去偏方法，包括调整位置隐状态、零样本去偏置框架、随机位置偏移和上下文扰动等。这些方法在不同任务上验证有效，例如在CoNLL03等数据集上性能提升约2%，在受偏见的SQuAD上BERT性能从37.48%提升至81.64%。这表明位置偏见可通过多种途径缓解，且效果显著。
位置偏见对抽取式问答的负面影响
研究发现，当训练集中答案位置分布高度偏斜时，抽取式问答模型容易学习到虚假的位置线索，而非真正理解问题。这导致模型在不同位置上无法提供正确答案，泛化能力差。文章提出使用答案先验分布作为偏见模型，并实现多种去偏方法，有效提升了模型性能。
无显式位置编码的竞争力
文章探讨了基于因果变换的语言模型，发现即使没有显式位置编码，模型仍具有竞争力。进一步实验表明，因果注意力使模型能够推断每个令牌可以关注的前任数，从而近似其绝对位置。这一发现揭示了因果掩码本身可提供位置意识，为位置编码设计提供了新思路。
Q&A
大型语言模型中的位置偏见是什么？
位置偏见是指大型语言模型在处理文本时，因注意力权重和因果性注意掩码等因素，导致对某些位置的偏向性理解和利用。
如何减轻大型语言模型中的位置偏见？
可以通过调整位置隐状态和使用零样本去偏置框架来减轻位置偏见，这些方法在多个任务上经过验证有效。
实验结果显示这些方法的有效性吗？
实验结果表明，调整位置隐状态和零样本去偏置框架有效提升了模型在长上下文和抽取式问答任务中的表现。
位置偏见对Token Classification任务有什么影响？
位置偏见会导致Token Classification任务的性能下降，特别是在答案位置分布高度偏斜时，模型容易学习到虚假的位置线索。
有哪些方法可以缓解Token Classification任务中的位置偏见？
可以使用Random Position Shifting和Context Perturbation两种方法来缓解Token Classification任务中的位置偏见。
没有显式位置编码的语言模型表现如何？
研究发现，没有显式位置编码的语言模型仍然具有竞争力，能够通过网络获取隐含的绝对位置概念。
