BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

曲率信息的 SGD：通过通用李群预条件器

📝

内容提要

该文章提出了一种新的方法，通过利用曲率信息加速随机梯度下降（SGD）。该方法使用两个预条件器，并使用稳健的在线更新来保持对称性和不变性。该方法在多个深度学习任务上优于现有方法。