BriefGPT - AI 论文速递
·
信号传播的几何动力学预测 Transformer 的可训练性
内容提要
本文研究了随机权重深度神经网络中的信号传播特性，揭示了从秩序到混沌的相变，并证明浅层网络无法有效计算深度随机函数。通过平均场理论分析Transformer模型的信号传播，提出了模型初始化和训练超参数的建议，探讨了自我注意层中的排名坍塌现象及其影响。此外，研究还提出了改进Transformer的新方案，以解决训练不稳定性问题。
关键要点
-
本文结合黎曼几何和高维混沌的平均场理论，研究随机权重深度神经网络中的信号传播特性。
-
研究揭示了从秩序相到混沌相的表达能力相变，证明浅层网络无法有效计算深度随机函数。
-
深度网络能够将输入空间中高度曲率的流形分解为隐藏空间中的平坦流形。
-
针对Transformer模型，提出了模型初始化和训练超参数的宽度缩放建议，分析了正反向信号传播。
-
研究了自我注意层中的排名坍塌现象，发现其会导致训练受阻，但可以通过深度相关的残差分支缩放来预防。
-
提出了一种新的改进Transformer的方案——Macaron Net，实验证明其在学习任务中优于传统Transformer。
-
通过优化初始化超参数，开发出新的初始化方案，解决了LSTMs和GRUs的训练不稳定性问题。
延伸问答
什么是信号传播的几何动力学？
信号传播的几何动力学是研究深度神经网络中信号如何在不同层次间传播的特性，结合了黎曼几何和高维混沌的平均场理论。
浅层网络在计算深度随机函数时有什么限制？
浅层网络无法有效计算深度随机函数，表现出较低的表达能力，无法处理复杂的输入空间。
Transformer模型的训练超参数应该如何调整？
建议对Transformer模型的初始化和训练超参数进行宽度缩放，以优化信号传播效果。
自我注意层中的排名坍塌现象会导致什么问题？
排名坍塌现象会导致查询和键的梯度消失，从而阻碍训练过程。
Macaron Net是什么？
Macaron Net是一种改进的Transformer方案，经过实验证明其在监督和非监督学习任务中优于传统的Transformer。
如何解决LSTMs和GRUs的训练不稳定性问题？
通过优化初始化超参数，开发新的初始化方案，可以有效解决LSTMs和GRUs的训练不稳定性问题。
