在数据受限的语言预训练中，比较了超参数调优与双语数据混合两种策略。以阿拉伯语为目标语言、英语为辅助语言，进行了约千次实验，模型规模从150M到1.43B。结果表明，数据混合优于超参数调优，其效果相当于2–3倍的目标语言数据，在下游任务上提升2–13倍，且优势随模型规模增大而增强。建议优先混合高资源语言并调整混合比例。