该文综述深度学习泛化与平坦极小值研究,从PAC-Bayesian视角提出归一化平坦极小值,探讨损失景观、Hessian谱与泛化的关系,发现SGD偏好平滑解,线性ResNets零初始化收敛于最平滑最小值,并给出优化算法与泛化界限。
该文综述SAM类优化算法研究:AdaSAM在随机非凸环境下收敛速度为O(1/√(bT))并具线性加速;GA-SAM按梯度强度自适应寻找平坦极小值;高效SAM变体用随机权重扰动和锐度敏感数据选择节省至多60%算力;Sparse SAM稀疏掩码方案理论证明同速收敛并平滑损失;SAM在鞍点收敛不稳定、扩散较差,可用动量与批大小缓解;还提出SS-SAM调度方案和LookSAM降低开销。
完成下面两步后,将自动完成登录并继续当前操作。