统一的神经网络缩放法则与规模时间等价性
原文中文,约400字,阅读约需1分钟。发表于: 。本研究旨在解决神经网络规模与数据量对性能提升影响的缺口。提出了一种新颖的理论框架,展示模型规模、训练时间和数据量三者如何相互影响,形成规模时间等价性。这一发现不仅挑战了目前的小模型短训练时间的实践,还为评估和优化大型网络性能提供了预测方法,具有重要的实际应用价值。
大规模深度学习模型的实证研究发现,随着模型大小和数据规模的增加,训练模型的测试误差呈多项式改进。本研究在无限维线性回归设置下研究了缩放规律的理论,证明了测试误差的可还原部分为Θ(M^{-(a-1)} + N^{-(a-1)/a})。方差错误随M的增加而增加,但由于随机梯度下降的隐式正则化作用,被其他误差所主导从而在界限中消失。