大型语言模型下游任务性能的缩放规律
内容提要
本文综述神经缩放规律：交叉熵损失与模型大小、数据量、计算量呈幂律关系；编码器与解码器扩展效应不同，需优化容量分配；构造偏差显著影响扩展表现；微调存在前幂阶段，预学习数据量可提升拟合；多语言模型中译入英语的模型有效参数更多；缩放规律可用于模型选型与加速开发。
延伸解读
缩放规律的实际应用价值
文章指出，缩放规律不仅用于预测模型性能，还可加速开发、优化模型选型和调试收敛。例如，通过预测微调性能，可以在有限资源下选择接近最优的模型，避免负相关的选择。此外，改进的缩放协议使模型在保持下游微调质量的同时减少50%参数并提升40%训练速度。这些应用表明，缩放规律为高效利用计算资源提供了实用指导。
编码器与解码器的差异化扩展
在神经机器翻译中，编码器和解码器的扩展效应不同，因此需要优化容量分配。文章提出了描述交叉熵损失与编解码器大小关系的公式，并基于此给出容量分配建议。这意味着单纯增加总参数量可能不是最优策略，合理分配编码器和解码器的容量才能更有效地降低损失。
构造偏差与多语言缩放特性
训练/测试集组成偏差（构造偏差）会显著影响扩展表现，对减少交叉熵损失至关重要。在多语言模型中，翻译多个语言到英语的模型比反向模型具有更多任务有效参数，且语言相似性影响缩放行为。这些发现有助于预测多语言模型性能，减少语言平衡的工作量。
微调中的前幂阶段与饱和现象
与预训练不同，微调的扩展曲线包含一个以前未观察到的“前幂阶段”。引入“预学习数据大小”概念可提高拟合度。此外，上游准确度提高时，下游任务表现会饱和，且与上游性能呈非线性关系。因此，需要建立反映饱和现象的模型来准确预测下游性能，避免盲目扩大模型规模。
Q&A
神经缩放规律中，交叉熵损失与哪些因素呈幂律关系？
交叉熵损失与模型大小、数据集大小和训练所用计算量呈幂律关系。
编码器和解码器在扩展效应上有何不同？如何优化容量分配？
编码器与解码器扩展的效应不同，基于此提供了编码器/解码器容量的最优化分配建议。
什么是构造偏差？它对模型扩展表现有何影响？
构造偏差是指训练/测试集组成偏差，模型的扩展表现受到其极大影响，对减少交叉熵损失十分重要。
微调扩展曲线中的前幂阶段是什么？如何改进扩展规律？
微调的扩展曲线不仅包括幂阶段，还包括以前未观察到的前幂阶段。通过引入“预学习数据大小”概念到改进的扩展规律中，大大提高了实验结果的拟合度。
在多语言神经机器翻译中，翻译方向如何影响有效参数数量？
翻译多个语言到英语的模型比反向模型具有更多的任务有效参数。
缩放规律在模型开发中有哪些实际应用？
缩放规律可用于模型加速开发、优化模型选型以及模型的收敛调试等方面。
