BriefGPT - AI 论文速递 · 2023-11-28T00:00:00Z

自适应预条件化随机梯度下降的步长

📝

内容提要

该研究提出了一种新颖的自适应步长方法来解决随机梯度下降（SGD）中的问题。通过利用可追踪的量，该方法提供了无需调参的算法，并在二次问题和图像分类任务中展现出自适应行为。该框架还可以包含预处理器，实现对随机二阶优化方法的自适应步长。