深度神经网络的图扩展及其普适性尺度限制
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
本研究探讨了随机神经网络的收敛性和梯度动态性，结合高斯过程与深度学习理论，揭示了深度网络在信号传播中的表现及其对输入空间的影响。通过数学框架分析，证明了网络的全局收敛性及初始化的重要性。
🔎
延伸解读
理论工具：从随机矩阵到平均场
文章汇集了多项研究，运用随机矩阵乘积、高斯过程、黎曼几何、平均场理论及费曼图等工具，分析深度神经网络的收敛性与梯度动态。这些数学框架分别从不同角度刻画了网络在无穷宽度或大训练时间下的极限行为，为理解现代架构中的随机梯度下降动态提供了理论基础。
核心发现：相变与流形平坦化
研究揭示了随机权重深度网络中信号传播的表达能力相变，即从秩序相到混沌相的转变，并证明浅层网络无法高效计算此类深度随机函数族。此外，定量分析表明深度网络能将输入空间中高度曲率的流形分解为隐藏空间中的平坦流形，这有助于解释深度网络对复杂输入空间的表示能力。
训练动态与全局收敛性
通过确定性积分微分方程建模，研究网络尺寸与SGD迭代次数同时较大时的极限行为，证明在合适假设下极限神经网络可恢复全局最小值。同时，基于平均场条件的严格框架表明全局收敛性及初始化的重要性，并引入概率嵌入和双向多样性等新概念，为理解学习轨迹提供了新视角。
❓
Q&A
深度神经网络的收敛性是如何证明的？
通过无穷宽度分析，证明深度神经网络在隐藏层宽度趋近无穷时收敛于高斯过程。
深度神经网络如何影响输入空间的表现？
深度网络可以将输入空间中高度曲率的流形分解成隐藏空间中的平坦流形。
什么是McKean-Vlasov问题在深度学习中的作用？
McKean-Vlasov问题的唯一解是提出的适用于深度神经网络的缩放极限解决方案的关键。
随机神经网络的梯度动态性有什么重要性？
研究表明，该框架可以深入理解现代架构中的随机梯度下降动态。
深度神经网络的初始化对收敛性有什么影响？
初始化的重要性在于它影响网络的全局收敛性。
如何通过确定性积分微分方程建模深度神经网络？
通过建模网络尺寸与随机梯度下降迭代次数较大时的极限行为，研究其学习轨迹。
🏷️
