该文综述深度神经网络损失曲面的线性模式连接研究,探讨神经元对齐、剪枝与梯度掩码等方法,分析架构、训练策略和数据集对连接性的影响,提出模式组合性等新概念,并给出理论解释与实验验证。
该文综述深度学习损失曲面研究,提出模型对齐与融合算法,发现单流域现象及反例;证明宽网络无次优盆地、窄网络存在;揭示深度集成优于贝叶斯网络,平坦区域采样更高效;提出快速几何融合方法,在多个数据集上优于快照集成。
该文综述神经网络损失曲面的拓扑研究:网络层可通过非同胚映射改变数据拓扑,ReLU更有效;深度增加使Betti数降至最低,拓扑复杂度衰减可衡量泛化能力;并分析损失曲面的虚假局部极小值、鞍点处优化算法差异,以及过参数化下局部极小值多为全局最优等结论。
完成下面两步后,将自动完成登录并继续当前操作。