信号传播的几何动力学预测 Transformer 的可训练性
内容提要
本文研究了随机权重深度神经网络中的信号传播特性，揭示了从秩序到混沌的相变，并证明浅层网络无法有效计算深度随机函数。通过平均场理论分析Transformer模型的信号传播，提出了模型初始化和训练超参数的建议，探讨了自我注意层中的排名坍塌现象及其影响。此外，研究还提出了改进Transformer的新方案，以解决训练不稳定性问题。
延伸解读
理论工具：黎曼几何与平均场理论的结合
文章将黎曼几何与高维混沌的平均场理论结合，用于分析随机权重深度网络中的信号传播。这种方法揭示了从秩序相到混沌相的相变，并证明浅层网络无法高效计算深度随机函数。平均场理论还用于研究dropout对临界点的影响，以及正反向传播中梯度消失与爆炸的对应关系。
Transformer的初始化与超参数缩放建议
针对宽而深的Transformer，文章通过正反向信号传播分析，提出了模型初始化和训练超参数的宽度缩放建议。这些建议基于平均场理论，旨在确保信号在前向和反向传播中保持稳定，避免梯度消失或爆炸，从而提升训练效果。
自我注意中的排名坍塌与残差缩放
文章探讨了Transformer自我注意层中的排名坍塌现象，发现它会导致查询和键的梯度消失，阻碍训练。通过适当的深度相关残差分支缩放可以预防这一问题。此外，特定架构超参数会导致查询和值梯度不均衡，这解释了自适应优化方法在Transformer中的广泛使用。
改进方案：Macaron Net与初始化创新
文章提出将Transformer视为数值ODE求解器，并由此设计了Macaron Net，实验证明其在监督和非监督任务中优于传统Transformer。同时，通过优化初始化超参数，开发出新的初始化方案，解决了LSTMs和GRUs的训练不稳定性问题，并在多个序列任务上提升了泛化能力。
Q&A
什么是信号传播的几何动力学？
信号传播的几何动力学是研究深度神经网络中信号如何在不同层次间传播的特性，结合了黎曼几何和高维混沌的平均场理论。
浅层网络在计算深度随机函数时有什么限制？
浅层网络无法有效计算深度随机函数，表现出较低的表达能力，无法处理复杂的输入空间。
Transformer模型的训练超参数应该如何调整？
建议对Transformer模型的初始化和训练超参数进行宽度缩放，以优化信号传播效果。
自我注意层中的排名坍塌现象会导致什么问题？
排名坍塌现象会导致查询和键的梯度消失，从而阻碍训练过程。
Macaron Net是什么？
Macaron Net是一种改进的Transformer方案，经过实验证明其在监督和非监督学习任务中优于传统的Transformer。
如何解决LSTMs和GRUs的训练不稳定性问题？
通过优化初始化超参数，开发新的初始化方案，可以有效解决LSTMs和GRUs的训练不稳定性问题。
