BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

From Gradient Clipping to Normalization for Heavy-Tailed Stochastic Gradient Descent

📝

内容提要

本文探讨了重尾梯度噪声环境下传统梯度裁剪方法的局限性，提出了归一化随机梯度下降（NSGD），并证明了其在样本复杂度和高概率收敛性方面的优势。

🏷️

标签

归一化随机梯度下降 样本复杂度 梯度裁剪 重尾梯度噪声 高概率收敛性