本文介绍了一种自适应结构发展的脉冲神经网络（SNN）方法，通过神经元修剪和突触再生等机制优化网络结构，降低能耗。研究表明，该方法在多任务中有效学习压缩率，提升性能，并提出了高效的剪枝技术，适用于深度学习模型的压缩与优化。

本文综述深度学习优化理论：ReLU网络在随机初始化下用梯度下降可全局线性收敛；过度参数化时，梯度下降能快速达到零训练损失，权重趋近最小范数解且泛化良好；自然梯度下降与K-FAC在深度ReLU网络中也能快速收敛至全局最优；深层线性网络在白化数据上保证线性收敛；SGD可在多项式时间内找到深度网络全局极小值。

该文综述了指数移动平均（EMA）在深度学习优化中的应用，涵盖BELAY算法、缩放规则、GAN参数平均、双教师伪标签、EMAN归一化、半监督语音识别、Admeta优化器、SWA权重平均及Bloop双层优化等方法，表明EMA能提升泛化能力并缩短训练时间。

该文综述基于Hessian谱的深度学习优化研究，涵盖Hessian迹正则化、SGD训练动态与Hessian及梯度矩阵谱的联合演化、随机投影矩阵期望值的精确表达、Hessian子采样与随机Hadamard变换、加速Hessian草图、损失曲面谱分解、迭代Hessian草图、批归一化对Hessian谱的影响，以及矩阵草图在岭回归和图聚类中的应用，揭示谱分析对提升泛化与优化效率的作用。

该文综述深度学习优化算法，涵盖Adam、RMSProp、Nesterov动量及SGD的理论性质与收敛性。研究证明Adam类算法具全局收敛性，揭示其隐式正则化与泛化差异；Nesterov动量在部分强凸目标上实现加速收敛；深度线性网络收敛随深度指数级变慢；合适初始化下深度网络无需正则化即可达一致收敛。