随机特征优于线性模型：尖峰协方差数据中强输入-标签相关性的影响

BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

文章利用随机矩阵理论和自由概率工具推导高维岭回归模型的性能，提供公式识别性能的幂律缩放来源。研究发现，$S$变换与训练-测试泛化差距相关，并类比广义交叉验证。通过这些技术，分析随机特征模型的偏差-方差，揭示特征方差和权重结构对性能的限制，扩展对神经缩放定律的理解。