本文提出了一种新框架，将变压器模型中的残差流视为逐层演变的动力系统，研究大型人工智能模型的内部机制，揭示了不同层次间残差流单元的强连续性，为理解现代神经网络提供了基础。

本文研究了Transformer模型的前馈层，发现Pre-LN相较于Post-LN更稳定，有效防止不稳定训练。探讨了Transformer在处理全局与上下文信息时的权衡及长篇上下文推理中的位置偏差问题。通过分析残差流，增强了模型的可解释性，并提出了新的多层稀疏自编码器方法，以深入理解信息传播。

本研究通过研究Transformer模型的残差流，增强其可解释性。发现残差连接机制是在softmax之前的值上进行直接相加，使得具有更大softmax之前值的标记的概率增加。提出了一种分析前一层对上层影响的方法。实验结果和案例研究表明，该研究可以增强基于Transformer的模型的可解释性。