高维回归中的缩放和重标定
原文中文,约500字,阅读约需2分钟。发表于: 。用随机矩阵理论和自由概率的基本工具简要推导了多种高维岭回归模型的训练和泛化性能,在物理学和深度学习背景的读者中提供了这些主题的介绍和评论。通过自由概率的 $S$ 变换特性,从代数的几行直接获得训练和泛化误差的解析公式,能够直观地识别模型性能的幂律缩放来源。计算了广义类随机特征模型的泛化误差,发现在所有模型中,$S$ 变换对应于训练 -...
本文使用随机矩阵理论和自由概率的工具推导了高维岭回归模型的训练和泛化性能,通过S变换特性得到了训练和泛化误差的解析公式,研究了广义类随机特征模型的泛化误差,讨论了偏差-方差分解和异向权重结构对性能的限制。这些结果扩展了对神经缩放定律模型的理解。