基于大型语言模型的扩展规律需要考虑推理成本。研究人员发现，具有大量推理需求的LLM应该训练比Chinchilla-optimal更小且更长的模型。

本研究通过大规模采样在解码阶段引入 PassUntil 评估策略，发现了突现能力的具体证据，并提出了一种新假设，推翻了有关突现能力产生的常见假设。