自注意力中的各向异性
内容提要
本文综述Transformer模型的表示退化与各向异性问题：多语种模型存在异常维度，影响跨语言语义相似性任务；解码器各向异性呈中间层峰值的独特模式，嵌入维度先扩张后压缩；从粒子系统角度可证明表示收敛与低秩注意力矩阵。研究提出I-STAR正则化、白化等后处理方法提升各向同性，并发现禁用少量参数即可致性能骤降。
延伸解读
各向异性在编码器与解码器中的不同表现
文章指出，解码器中的各向异性呈现中间层峰值的独特模式，而编码器的各向异性分布更均匀。同时，嵌入的内部维度在训练初期扩张，末期压缩。这提示读者：分析Transformer表示时需区分编码器和解码器结构，不能一概而论；中间层可能是解码器表示退化的关键区域，值得在模型诊断时重点关注。
表示退化问题的普遍性与后处理思路
文章将各向异性视为表示学习、NLP等领域的普适问题，并综述了多种后处理方法，如白化、Normalizing Flow以及I-STAR正则化。其中白化能增强句子表示的等向性，并降低存储成本、加速检索。读者可从中了解：除了改进训练目标，对已有模型输出进行后处理也是缓解各向异性的可行方向，且可能带来检索效率上的额外收益。
少量参数禁用导致性能骤降的警示
文章提到，仅禁用BERT-base的110M参数中的48个，MNLI性能就下降近30%。这一异常现象与嵌入空间的几何形状有关。它提醒读者：模型对剪枝的鲁棒性并非均匀，某些参数可能对维持表示的各向同性至关重要；在模型压缩或剪枝时，需警惕这类关键参数，避免因少量改动引发性能大幅滑坡。
Q&A
Transformer模型中的各向异性是什么意思？
各向异性是指Transformer模型学习到的表示在嵌入空间中分布不均匀，某些方向上的方差远大于其他方向，导致表示退化，影响语义相似性任务的表现。
解码器和编码器中的各向异性模式有什么不同？
解码器中的各向异性呈现峰型曲线，峰值位于中间层；而编码器中的各向异性分布更均匀。此外，嵌入的内部维度在训练初期增加（向高维扩展），训练末期则经历降维压缩，表明表示变得更紧凑。
多语种语言模型中的异常维度对跨语言任务有什么影响？
多语种预训练模型输出中存在异常维度，这些异常维度会影响各种跨语言语义相似性任务的表现。通过消除异常维度或进行聚类等操作可以改进多语种表示，使其更各向同性，从而提升任务性能。
I-STAR正则化方法是如何解决表示退化问题的？
I-STAR是一种新的正则化方法，可以在训练过程中增加或减少嵌入空间中的各向同性水平。实验发现，在大多数任务和模型中减少各向同性可以改善性能，并在语言建模和机器翻译任务上优于基准算法。
白化操作如何提升句子表示的性能？
白化操作可以增强句子表示的等向性，从而显著提升性能。它还能减少句子表示的存储成本并加速模型检索速度。基于令牌和序列的白化后处理方法能优化BERT表示的各向同性分布，显著提高文档排序性能，并具有鲁棒性。
为什么仅禁用BERT-base的少量参数就会导致性能大幅下降？
研究发现，仅禁用BERT-base的110M参数中的48个，MNLI性能就下降近30%。这一异常现象被认为与嵌入空间的几何形状有关，为减少未来模型中的各向异性提供了线索。
从粒子系统角度如何理解Transformer中的表示收敛？
将Transformer视为相互作用的粒子系统，当权重不随时间变化时，学习表示的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。在一维情况下，自注意力矩阵收敛于低秩布尔矩阵，这从数学上证实了Transformer处理序列时会出现“leader”的经验观察。
