更多计算是您所需之物
内容提要
本文探讨了大型语言模型（LLM）的扩展规律，提出在特定推理需求下，训练更小且更长的模型比Chinchilla-optimal更有效。研究表明，模型大小和训练数据应等量缩放，以优化计算效率。较小模型在每次迭代中执行更快，而大型模型则更具鲁棒性。此外，研究分析了计算预算对模型性能的影响，强调超网络和专家混合模型在不同预算下的优势。
延伸解读
推理成本如何改变缩放策略
传统缩放规律如Chinchilla仅关注训练计算量，但文章指出推理成本同样关键。当模型预计有约10亿次请求时，训练比Chinchilla-optimal更小且更长的模型更有效。这意味着实际部署中，需权衡训练与推理总成本，而非单纯追求训练最优。
模型大小与鲁棒性的权衡
文章提到，较小模型每次迭代执行更快，但大型模型更具鲁棒性。高度压缩的大型模型甚至比轻度压缩的小型模型准确率更高。因此，在资源受限时，可考虑压缩大型模型以兼顾速度与鲁棒性，而非直接训练小模型。
不同预算下的架构选择
研究分析了计算预算对性能的影响，发现超网络和专家混合模型在大的预训练预算下具有更好的困惑度，而在重要抽样数据集上训练的小型模型对于大的专业预算更有吸引力。这提示从业者应根据预训练与专业预算的规模，灵活选择模型架构。
Q&A
大型语言模型的扩展规律是什么？
大型语言模型的扩展规律是根据参数数量和训练数据的增加来估计模型质量的经验公式，但忽略了推理成本。
在特定推理需求下，如何优化模型训练？
研究表明，在特定推理需求下，训练比Chinchilla-optimal更小且更长的模型更有效。
模型大小和训练数据之间的关系是什么？
模型大小和训练数据应等量缩放，以优化计算效率，较小模型在每次迭代中执行更快。
大型模型与小型模型的优缺点是什么？
大型模型比小型模型更具鲁棒性，且高度压缩的大型模型实现更高的准确性，但小型模型在每次迭代中执行更快。
计算预算如何影响模型性能？
计算预算对模型性能有显著影响，超网络和专家混合模型在不同预算下具有优势。
如何在数据受限的情况下缩放语言模型？
研究提出了可衡量计算优化性的缩放规律，并尝试通过增加训练数据或去除常用过滤器等方式缓解数据稀缺问题。
