线性回归中的缩放定律:计算、参数和数据
原文中文,约400字,阅读约需1分钟。发表于: 。大规模深度学习模型的实证研究表明,随着模型大小和数据规模的增加,训练模型的测试误差呈多项式改进;然而,神经缩放定律的一般形式预测增加模型大小会单调改善性能,这与传统的认知不同,即测试误差包含逼近、偏差和方差误差,并且方差错误随模型大小增加而增加。本研究在无限维线性回归设置下研究了缩放规律的理论;假设最优参数符合高斯先验,数据协方差矩阵具有幂律谱指数为...
大规模深度学习模型的实证研究发现,随着模型大小和数据规模增加,训练模型的测试误差呈多项式改进。研究还发现,增加模型大小会单调改善性能,与传统认知不同。研究在无限维线性回归设置下研究了缩放规律的理论,并通过数值模拟验证了该理论。