一种适应性二阶方法用于非凸非光滑复合优化问题
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文提出了多种优化算法，解决非凸和非光滑的机器学习问题，包括近似正则化路径追踪、BFGS方法的扩展和随机拟牛顿方法。这些算法展示了全局收敛性和高效性，能够有效利用曲率信息，优化样本复杂度，适用于深度学习等领域。
❓
Q&A
什么是近似正则化路径追踪方法？
近似正则化路径追踪方法用于求解非凸学习问题，具有与全正则化路径相同的迭代复杂度，并能实现全局几何收敛。
subBFGS算法的主要特点是什么？
subBFGS算法是BFGS拟牛顿方法的扩展，适用于非平滑凸目标的优化，具有全局收敛性。
随机拟牛顿方法如何优化样本复杂度？
随机拟牛顿方法通过梯度剪切和方差减小，实现了O(ε^(-3))的样本复杂度，并通过超参数调节加速收敛。
如何处理带有不可分离L1项的优化问题？
提出了一种显式算法，通过四个矩阵向量乘法和简单投影来最小化带有不可分离L1项的L1正则化最小二乘函数。
立方正则化牛顿法的收敛性如何？
立方正则化牛顿法在一致凸性目标的复合最小化问题中具有线性收敛率，证明了其迭代复杂度优于梯度法。
分布式优化算法的优势是什么？
分布式优化算法在解决具有非平滑正则化项的ERM问题时，具有全局线性收敛性和低通信复杂度，适用于广泛的非强凸问题。
🏷️
