基于凸差分函数的神经网络参数优化的全局收敛算法
内容提要
该文综述深度网络优化的多凸与块坐标下降方法，提出光滑多凸形式及BCD训练算法，具全局与R-线性收敛，实验优于Caffe各SGD变体；并涵盖两三分结构BCD、DC外推算法、近似BCD统一框架、prox-linear算法及深度线性网络线性收敛等结果。
延伸解读
从理论保证到实际训练：光滑多凸形式的定位
文章提出的光滑多凸形式借助近端点方法，将深度网络训练转化为块坐标下降问题，并证明了全局收敛与R-线性收敛速率。这意味着在特定建模下，训练过程不会陷入非凸优化的不可控状态，而是有明确的收敛保证。实验显示其优于Caffe中所有SGD变体，但需注意这仅针对所测试的网络与数据集，实际部署时仍需验证泛化性能。
BCD统一框架：连接经典算法与深度网络优化
文章涵盖的近似BCD统一框架，通过最小化一系列上界或局部严格凸逼近来更新变量块，能够统一解释BCD、DC方法、EM算法和交替近端最小化等经典算法的收敛性。这为理解深度网络优化中的不同策略提供了共同视角，但统一框架的收敛条件通常依赖目标函数的结构假设，读者应关注这些假设在具体网络架构中是否成立。
深度线性网络的线性收敛：条件与局限
文章指出，在白化数据上训练深度线性网络时，若隐藏层维度不小于输入输出维度的最小值，且初始化权重矩阵大致平衡、初始损失小于任何秩缺失解，则梯度下降可保证线性收敛到全局最优。输出维度为1时这些条件在随机初始化下以恒定概率满足。但该结论限于线性网络与特定初始化，不能直接推广到非线性深度网络。
Q&A
有哪些训练深度神经网络的方法具有全局收敛保证？
文章提到多种具有全局收敛保证的方法：光滑多凸形式结合块坐标下降（BCD）训练算法，具有全局收敛性和R-线性收敛速率；针对两分和三分网络结构的BCD方法，论证了全局收敛性和迭代收敛速度；基于BCD的深度神经网络优化算法也提供了全局收敛结果。
块坐标下降（BCD）在深度网络训练中是如何应用的？
BCD通过块协调下降更新变量块，例如在光滑多凸形式中利用近端点方法开发训练算法；近似BCD方法通过依次最小化一系列不等式紧上界或局部严格凸逼近来更新变量块，适用于不可微或非凸问题，并能统一和扩展BCD、DC、EM等算法的收敛结果。
DC外推算法是什么，它有什么优势？
DC外推算法针对差分凸（DC）优化问题，其中目标函数是光滑凸函数与适当闭凸函数及连续凹函数之和。该算法通过选择外推参数加速，并分析了全局收敛性和收敛速度，数值实验表明通常优于现有算法。
深度线性神经网络用梯度下降训练时，什么条件下能保证线性收敛到全局最优？
当隐藏层维度的维度不小于输入输出维度的最小值，且初始化的权重矩阵大致平衡、初始损失小于任何秩缺失解时，可保证线性收敛。在输出维度为1的标量回归情况下，这些条件在随机初始化方案下以恒定概率满足。
prox-linear算法在非凸优化中有什么收敛性质？
基于prox-linear surrogate的优化算法，其全迭代序列收敛于关键点，并具有较快的收敛速度，已应用于非凸正则化线性回归和非负矩阵分解等问题。
近似BCD方法能统一哪些经典算法的收敛结果？
近似BCD方法通过依次最小化一系列f不等式紧上界或局部严格凸逼近来更新变量块，能够统一和扩展BCD方法、DC方法、EM算法和交替近端最小化算法等经典算法的收敛结果。
