研究通过预测微调性能和扩展规律的自然连接，解决有限资源下选择微调模型的挑战。发现微调扩展曲线有两个阶段：幂阶段和前幂阶段。引入预学习数据大小来改进扩展规律，提高拟合度。提出新算法，用较少资源选择接近最优模型，效果优于其他方法。

基于大型语言模型的扩展规律需要考虑推理成本。研究人员发现，具有大量推理需求的LLM应该训练比Chinchilla-optimal更小且更长的模型。

本研究通过大规模采样在解码阶段引入 PassUntil 评估策略，发现了突现能力的具体证据，并提出了一种新假设，推翻了有关突现能力产生的常见假设。