本文研究了神经缩放定律，揭示了在无限宽度的两层神经网络中，数据与模型大小之间的关系大致呈线性。探讨了参数稀疏性对Transformer模型的影响，提出了描述权重稀疏性与训练数据量关系的扩展定律，并验证了最佳稀疏度的概念。此外，分析了最近邻分类器的缩放定律，指出数据分布对泛化误差的影响。

本文研究了参数稀疏性对Transformer模型在大规模数据集上训练的影响，并确定了描述权重稀疏性、非零参数数量和训练数据量之间关系的扩展定律。研究发现，在非零参数数量固定时，最佳稀疏度随着用于训练的数据量增加而增加。同时，研究还将扩展到了不同的稀疏结构和策略，揭示了权重稀疏性的能力和局限性，为提高计算效率提供了理论理解和实际意义。