从混合模型到专门领域的语言模型最佳划分

本文提出了一种独立预训练多个模型的方法。

该方法通过优化计算分配，提升语言模型在常识知识和推理任务中的表现。

方法基于扩展法则，适用于不同规模和计算预算的模型。

标准训练流程为两阶段：首先在完整数据集上预训练，然后在高质量的专业数据子集上进行专业化训练。

在多领域设置中，涉及对每个专业领域的多个模型进行持续预训练，称为分割模型训练。

该方法能够准确预测模型在特定预训练和专业化标记下的损失，并可外推到更大模型和标记数量。

应用于语言模型训练时，该方法在不同模型规模和计算预算下，持续提高常识知识和推理基准的表现。