本文介绍了一种名为独占自注意力（XSA）的方法，旨在提升Transformer的序列建模性能。XSA通过限制注意力仅捕捉与令牌自身值向量正交的信息，从而改善上下文建模。在标准语言建模任务中，XSA在不同模型规模上均优于自注意力（SA），且随着序列长度增加，性能提升更为显著。