BriefGPT - AI 论文速递
·
SGD 噪声的蝴蝶效应：行为克隆和自回归中的误差放大
原文中文，约500字，阅读约需2分钟。
📝
内容提要
研究发现，小批量随机梯度下降噪声会导致长时间跨度奖励出现尖锐振荡，但迭代的指数移动平均在减轻梯度方差放大方面非常有效。
🎯
关键要点
-
研究探讨了深度神经网络行为克隆训练的不稳定性。
-
小批量随机梯度下降更新导致长时间跨度奖励出现尖锐振荡。
-
这些振荡源于小批量随机梯度下降噪声通过不稳定闭环动态的传播。
-
随机梯度下降噪声在单步行动预测中无害，但在长时间跨度中会导致误差累积。
-
梯度方差放大是导致长时间跨度奖励振荡的主要原因。
-
许多标准缓解技术无法减轻梯度方差放大。
-
迭代的指数移动平均在减轻梯度方差放大方面非常有效。
-
研究展示了在连续控制和自回归语言生成中梯度方差放大的现象。
-
提供了理论实例，强调迭代的指数移动平均的好处。
-
经典凸模型有助于理解深度学习中迭代平均的益处。
🏷️
