深度神经网络的光谱复杂度
内容提要
本文探讨了深度神经网络的频率偏向、Jacobian谱结构及超参数对性能的影响。研究发现，深度网络在学习高频函数时受参数扰动影响，且不同非线性函数具有普适极限谱分布。此外，随机初始化和稀疏神经活动显著影响网络性能，并提出了新的核函数以优化学习速度和泛化能力。
延伸解读
谱偏差的根源与影响
文章指出深度ReLU网络天然偏向低频函数，学习高频函数时易受参数扰动影响。这意味着在需要高频细节的任务中，网络可能难以精确表达，且鲁棒性下降。理解这一偏差有助于在设计和训练时采取针对性措施，如调整数据流形复杂性或初始化策略。
普适谱分布与深度极限
研究发现不同非线性函数都符合新的普适极限谱分布，即使深度接近无穷，分布仍可牢固集中于1附近。这为深度网络设计提供了理论指导：无论选择何种非线性，深度增加时Jacobian谱趋于稳定，可能影响梯度传播和训练动态。
稀疏性与泛化性能
稀疏神经活动能提高ReLU网络的泛化性能，浅层稀疏网络在多种数据集上优于非稀疏网络。这提示在实际应用中，通过引入稀疏性可能改善模型泛化，尤其对于浅层架构。但需注意，稀疏性对深层网络的影响可能不同。
核函数视角下的训练与泛化
通过共轭内核和神经切向内核的特征值分析，可以深入理解初始化分布、训练和泛化特性。训练过程沿不同方向分解，收敛率由特征值决定。这为优化学习速度和泛化能力提供了新思路，例如通过调整核函数或初始化来改善性能。
Q&A
深度神经网络偏向于学习什么类型的函数？
深度神经网络偏向于学习低频函数，但在数据流形复杂性增加时，学习高频函数变得更容易。
超参数如何影响深度神经网络的性能？
超参数如非线性函数、权值和偏置分布等会影响深度网络的Jacobian谱结构，从而影响网络性能。
随机初始化对神经网络的收敛速度有什么影响？
随机初始化的宽神经网络通过高斯过程近似，其收敛速度受激活函数次数和函数平滑度的影响。
稀疏神经活动如何影响网络的泛化性能？
稀疏神经活动提高了具有修正线性单元激活的神经网络的泛化性能，浅层稀疏网络优于非稀疏网络。
谱偏差对神经网络的收敛速度有什么影响？
谱偏差研究表明，当表现能力受限时，混淆程度增加会导致收敛速度变慢。
深度神经网络的可连接性和内存需求有什么基本下限？
深度神经网络的可连接性和内存需求的基本下限适用于广泛的函数类，且随机梯度下降算法能够学习近乎最优的函数逼近。
