推理缩放法则的简单模型

神经比例定律可用于模型性能预测、模型加速开发、优化模型选型和模型收敛调试。

减少模型大小30%以上会显著降低回忆预训练中出现的事实的能力，但减少60-70%时对上下文处理影响较小。

模型扩展对事实回忆和上下文学习有本质上不同的影响，密集扩展和权重剪枝均表现出此特征。

通过估算缩放定律中的常数项，可以准确预测多达330B参数模型的属性，包括最小测试损失和最佳时间/计算权衡的关键批大小。

增加生成样本数量显著提升了解决问题的覆盖率，尤其在编码和形式证明等领域表现突出。

提出的“计算最优”扩展策略能够动态分配计算资源，提高模型在复杂提示上的表现，计算效率提高超过4倍。

在检索增强生成过程中，最优配置的推理计算可以实现近线性性能提升，显示出显著的性能增益。

利用中间检查点进行拟合可以显著提高预测准确性，相似规模的模型提供更可靠的性能估计。