利用连续时间控制和摄动理论解锁最佳批处理大小日程

BriefGPT - AI 论文速递 · 2023-12-04T00:00:00Z

通过研究教师-学生感知器分类模型，得出了三个动力学相图，分别是由温度控制的噪声主导的SGD，由大步长主导的SGD和GD。这些相对应不同的泛化误差区域。分析发现，批次大小B*与训练集大小P呈比例，指数表征了分类问题的难度。