中科大与华为诺亚方舟联合提出了一种推荐大模型性能预测定律，首次定量分析了模型性能与数据规模和质量之间的关系。研究引入近似熵作为数据质量指标，克服了传统扩展定律的局限性，有效预测推荐模型的扩展潜力和最优参数配置。

本研究提出了一种通用的超参数缩放法则，解决了大型语言模型的超参数优化问题。研究发现，最佳学习率与模型参数和数据规模呈幂律关系，而批次大小主要与数据规模相关。这为模型性能优化提供了有效工具。

本研究探讨了智能体性能与规模的关系，发现“更大更好”的观点在不同任务和架构下并不总是成立，并提出了优化模型和数据规模的新视角。

大规模深度学习模型的实证研究发现，随着模型大小和数据规模增加，训练模型的测试误差呈多项式改进。研究还发现，增加模型大小会单调改善性能，与传统认知不同。研究在无限维线性回归设置下研究了缩放规律的理论，并通过数值模拟验证了该理论。

大数据时代已经结束，数据规模并不是真正的问题所在。大多数人并没有真正的大数据。数据存储和计算分离，存储规模大于计算规模。分析工作负载处理的数据量比想象的要小。大数据前沿不断后退，大数据是一种负担。大多数人不需要担心大数据。

本文分析了数据对大语言模型性能的影响，包括数据规模、数量质量和数据多样性。数据规模越大，模型性能越好。高质量数据提高性能，重复和低质量数据导致训练不稳定。多样数据来自不同领域和语言，帮助模型获得广泛知识。构建大语言模型时，数据质量和多样性非常重要。

本文介绍了创建超过10K数据集的方法，通过提取七个sitcom中人物与场景中不同物体的互动场景，预测新场景下的affordances。研究结果显示，数据规模对于学习具有普适性和鲁棒性的affordances模型至关重要。

本文研究使用基于Transformer的语言模型，比较了不同模型尺寸与训练数据规模对于预测功能性磁共振成像记录下的脑活动响应的影响。结果显示，模型或数据规模增大时，在音频与语言预测方面均能获得显著性提升，为理解大脑语言处理机制和实际解码应用提供改善的可能。