本研究提出了一种高效的Sharpness Aware Minimizer(SAM)改进方法,称为Efficient SAM,结合随机权重扰动和数据选择策略,显著提高训练效率,节省计算资源达60%。同时,分析了SAM在深度神经网络中的泛化性能,并提出基于梯度强度的自适应算法(GA-SAM),实验证明其在自然语言任务中的有效性。
完成下面两步后,将自动完成登录并继续当前操作。