混合，而非调优：在数据受限场景下，双语预训练优于超参数搜索
内容提要
在数据受限的语言预训练中，比较了超参数调优与双语数据混合两种策略。以阿拉伯语为目标语言、英语为辅助语言，进行了约千次实验，模型规模从150M到1.43B。结果表明，数据混合优于超参数调优，其效果相当于2–3倍的目标语言数据，在下游任务上提升2–13倍，且优势随模型规模增大而增强。建议优先混合高资源语言并调整混合比例。
延伸解读
数据受限下的两种策略对比
文章针对低资源语言预训练中数据重复导致的泛化下降问题，系统比较了超参数调优与双语数据混合两种方法。超参数调优通过权重衰减等正则化手段限制模型容量，而数据混合则引入高资源语言数据来扩展训练分布。实验以阿拉伯语为目标语言、英语为辅助语言，覆盖150M到1.43B四种模型规模，进行了约千次预训练运行，为两种策略的效果提供了大规模实证依据。
混合策略的量化收益与规模效应
研究发现，数据混合在验证损失和下游任务准确率上均优于超参数调优，且优势随模型规模增大而扩大。具体而言，混合带来的性能提升相当于2–3倍的目标语言唯一数据量（验证损失）或2–13倍（下游任务准确率），且增益随模型规模陡增。这表明在数据受限场景下，引入高资源语言数据能更有效地提升模型表现，尤其对大模型更为明显。
验证损失低估混合价值的启示
文章指出，目标语言验证损失会系统性低估数据混合的价值。这是因为混合通过多样化训练信号和补充重复目标语料无法提供的新知识来正则化模型，而验证损失仅能捕捉前一种效应。因此，仅依赖验证损失选择策略可能误导，实际下游任务表现才是更全面的评估指标。这一发现提醒研究者在数据受限时需结合下游任务评估混合策略。
实践建议与操作要点
基于实验结果，作者提出三条实用建议：优先混合高资源语言数据；将调整混合比例置于超参数调优之前；利用μP从较小代理模型迁移超参数。这些建议为数据受限的语言预训练提供了明确的操作方向，强调数据层面的干预比单纯调参更有效，且可通过代理模型降低搜索成本。
Q&A
在数据受限的语言预训练中，超参数调优和双语数据混合哪种方法更有效？
双语数据混合更有效。研究表明，在验证损失和下游任务准确率上，混合带来的提升均大于超参数调优，且优势随模型规模增大而增强。
双语数据混合具体能带来多大的性能提升？
混合带来的提升相当于2–3倍的目标语言独特数据（在验证损失上），在下游任务准确率上相当于2–13倍，且提升幅度随模型规模增大而急剧增加。
为什么目标语言的验证损失会低估数据混合的价值？
因为混合通过多样化训练信号起到正则化作用，并贡献了重复目标语料无法提供的新知识；而验证损失只捕捉到正则化效果，无法反映知识贡献。
在数据受限场景下，有哪些实用的预训练建议？
建议：混合一种高资源语言；优先调整混合比例而非超参数调优；通过μP从小代理模型迁移超参数。
这项研究使用了哪些语言和模型规模进行实验？
以阿拉伯语为目标低资源语言，英语为辅助高资源语言，模型规模从150M到1.43B参数，共进行了约1000次预训练实验。
数据混合和超参数调优在机制上有何不同？
超参数调优（如高权重衰减）通过缩小权重来限制网络容量以实现正则化；数据混合则通过可调的混合比例扩展训练分布，用新知识多样化训练信号。
