通过对200多个语言模型评估数据集的分析,发现计算量每8个月减少一半,远快于硬件提升速度。研究估计了增强的缩放定律和量化算法进展对缩放模型的贡献。分析结果显示计算量对整体性能改进的贡献更大。研究量化了语言建模的快速进展,阐明了计算量与算法的相对贡献。
完成下面两步后,将自动完成登录并继续当前操作。