BriefGPT - AI 论文速递 · 2023-11-09T00:00:00Z

一个系数让 SVRG 生效

📝

内容提要

通过调整乘法系数来控制SVRG强度，并线性衰减该系数，研究表明SVRG可优化深层网络，随训练减弱。新方法alpha-SVRG在实验中优于基准，有助于深度学习方差减少技术研究。