随机特征优于线性模型：尖峰协方差数据中强输入-标签相关性的影响
原文中文，约400字，阅读约需1分钟。发表于：。本研究针对随机特征模型在高维学习中的训练和泛化性能，特别是在强输入与标签相关性情况下，探讨其优于线性模型的条件与机制。研究发现，输入与标签的高相关性是随机特征模型超越线性模型的关键因素，并且其性能与噪声多项式模型等效，且多项式阶数依赖于相关强度。此发现对理解和应用随机特征模型具有重要意义。
文章利用随机矩阵理论和自由概率工具推导高维岭回归模型的性能，提供公式识别性能的幂律缩放来源。研究发现，$S$变换与训练-测试泛化差距相关，并类比广义交叉验证。通过这些技术，分析随机特征模型的偏差-方差，揭示特征方差和权重结构对性能的限制，扩展对神经缩放定律的理解。
