本文研究了语言模型性能与交叉熵损失的关系，发现模型大小、数据集规模和计算量之间存在幂律关系。提出了神经缩放定律，强调训练数据和模型参数对测试损失的影响。通过分析485个预训练模型，提出了提高预测准确性的最佳实践，为模型选择提供参考。

大模型的初心是构建通用的人工智能算法底层架构，但仍存在数据集规模和质量、模型泛化能力、训练效率和稳定性等局限性。未来技术发展将提高大型模型的解释性。