该文综述大语言模型微调研究，发现微调扩展曲线包含“前幂阶段”，提出“预学习数据大小”改进扩展规律，用于低耗选优模型；参数高效微调可缩小多语言及小模型与大模型差距，但可能降低英语或高资源语言性能；稀疏微调优于LoRA；LoRA仍存灾难性遗忘，遗忘随参数与步数呈移位幂律增长。

基于大型语言模型的扩展规律需要考虑推理成本。研究人员发现，具有大量推理需求的LLM应该训练比Chinchilla-optimal更小且更长的模型。

本研究通过大规模采样在解码阶段引入 PassUntil 评估策略，发现了突现能力的具体证据，并提出了一种新假设，推翻了有关突现能力产生的常见假设。