通过对200多个语言模型评估数据集的分析，发现计算量每8个月减少一半，远快于硬件提升速度。研究估计了增强的缩放定律和量化算法进展对缩放模型的贡献。分析结果显示计算量对整体性能改进的贡献更大。研究量化了语言建模的快速进展，阐明了计算量与算法的相对贡献。

本文研究了稠密检索模型的性能是否遵循与其他神经模型相同的缩放定律，并提出使用对比对数似然作为评估指标。通过实验证明，稠密检索模型的性能遵循明确的幂律缩放。文章还通过数据增强方法检验缩放效果，评估注释质量的影响，并应用缩放定律找到最佳资源分配策略。这些研究结果对于理解稠密检索模型的缩放效应并为未来研究提供指导具有重要意义。

通过使用Wikitext和Penn Treebank的200多个语言模型评估数据集，研究发现计算量每8个月减少一半，远快于硬件提升速度。研究还估计了增强的缩放定律，量化算法进展与缩放模型的贡献。分析结果显示计算量对整体性能改进的贡献更大，同时量化了语言建模的快速进展，阐明了计算量与算法的相对贡献。

本技术报告验证了原始OpenAI论文中的缩放定律公式在330亿参数模型中仍然有效，并可用于准确预测模型的各种属性。

本文研究了使用单个消费级GPU训练一天的遮蔽语言模型的下游性能，并通过修改预训练流程证明了性能与大型计算环境下的缩放定律密切相关。