Transformer 过度平滑的真相
内容提要
本文综述Transformer过度平滑问题：从图角度发现标准化层是关键，提出层次融合与简单修正项缓解；AttnScale和FeatScale克服ViT训练伪影；图滤波自注意力提升多领域性能；数学分析证明注意力机制无法避免过度平滑并指数丧失表达能力。
延伸解读
标准化层：过度平滑的关键推手
文章从图的角度分析Transformer过度平滑，指出标准化层在其中起关键作用。这意味着缓解过度平滑不能只关注注意力机制，标准化操作对深层标记相似性的影响同样值得重视。基于此提出的层次融合策略，为从结构上干预过度平滑提供了新思路。
从训练伪影到图滤波：多种缓解路径
针对ViT深度增加时性能饱和，AttnScale和FeatScale无需超参数即可克服注意力折叠和补丁均匀性等训练伪影；基于图滤波的自注意力机制（GFSA）则在视觉、自然语言处理、语音识别等多领域提升性能。这些方法表明过度平滑的缓解可以从训练稳定性和注意力结构两个层面入手。
数学证明：注意力机制无法根治过度平滑
文章将注意力机制的图神经网络视为非线性时变动力系统，利用不均匀矩阵乘积和联合谱半径工具，证明注意力机制无法避免过度平滑，并会以指数方式失去表达能力。这一结论意味着过度平滑是注意力架构的内在限制，而非单纯训练技巧问题，提示后续改进需在架构层面寻求突破。
Q&A
Transformer 中的过度平滑问题是什么？
过度平滑是指随着 Transformer 层数加深，不同标记（或图神经网络中的不同节点）在深层表示变得过于相似，导致模型区分能力下降、性能饱和甚至丧失表达能力的现象。
为什么 Transformer 会出现过度平滑？
从图的角度分析，标准化层在过度平滑中起关键作用；数学分析进一步证明，注意力机制本身无法避免过度平滑，会将模型视为非线性时变动力系统，导致表达能力以指数方式丧失。
有哪些方法可以缓解 Transformer 的过度平滑？
文章提到多种方法：基于层次融合策略的方法、简单的修正项、无需超参数的 AttnScale 和 FeatScale（克服 ViT 训练伪影）、基于图滤波的自注意力机制（GFSA），以及通过增广归一化拉普拉斯矩阵频谱确定权重矩阵条件等。
AttnScale 和 FeatScale 具体解决什么问题？
它们针对 Vision Transformer 深度增加时性能饱和的问题，无需超参数即可有效克服与注意力折叠和补丁均匀性相关的 ViT 训练伪影。
图滤波自注意力（GFSA）在哪些领域提升了性能？
GFSA 在计算机视觉、自然语言处理、图形模式分类、语音识别和代码分类等多个领域都提升了 Transformer 模型的性能。
数学上如何证明注意力机制无法避免过度平滑？
通过将注意力机制的图神经网络视为非线性时变动力系统，利用不均匀矩阵乘积和联合谱半径的理论工具进行分析，证明了注意力机制必然导致过度平滑，并使表达能力指数级丧失。
