信号传播的几何动力学预测 Transformer 的可训练性
原文中文，约200字，阅读约需1分钟。发表于：。深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。
本文将Transformer视为相互作用的粒子系统，描述了学习表示的几何特征，证明了表示中的粒子会在时间趋于无穷时聚集到特定的极限对象，这取决于值矩阵的谱。同时，在一维情况下，证明了自我关注矩阵收敛于低秩布尔矩阵。这些结果证实了在Transformers处理标记时会出现“leader”。
