本文研究了随机权重深度神经网络中的信号传播特性，揭示了从秩序到混沌的相变，并证明浅层网络无法有效计算深度随机函数。通过平均场理论分析Transformer模型的信号传播，提出了模型初始化和训练超参数的建议，探讨了自我注意层中的排名坍塌现象及其影响。此外，研究还提出了改进Transformer的新方案，以解决训练不稳定性问题。