小批次随机梯度下降和局部随机梯度下降的稳定性与泛化能力

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本文研究了局部SGD在凸设置中的性能,证明其优于小批量SGD,并提供了总体上至少有时优于小批量SGD的第一个保证。同时,发现局部SGD存在一种性能下限,比小批量SGD保证更差。

🏷️

标签

➡️

继续阅读