本文综述Transformer模型的表示退化与各向异性问题：多语种模型存在异常维度，影响跨语言语义相似性任务；解码器各向异性呈中间层峰值的独特模式，嵌入维度先扩张后压缩；从粒子系统角度可证明表示收敛与低秩注意力矩阵。研究提出I-STAR正则化、白化等后处理方法提升各向同性，并发现禁用少量参数即可致性能骤降。