数据约束下混合预训练的缩放定律
内容提要
该研究探讨了在数据受限条件下，语言模型预训练中混合稀缺目标数据与通用数据的权衡。通过2000多次实验，发现重复使用目标数据15-20次可提升性能，并提出了考虑重复价值递减的缩放定律，以优化混合配置。
延伸解读
重复使用的价值递减
研究发现，在混合预训练中，目标数据可以重复使用15-20次，但重复的价值会递减。这意味着，当目标数据稀缺时，适度重复可以提升性能，但过度重复会导致收益下降甚至过拟合。这一发现提醒研究者，在配置数据混合时，需要权衡重复次数与数据多样性，避免盲目增加重复次数。
通用数据的正则化作用
通用数据在混合训练中不仅提供多样化的知识，还起到正则化的作用，有助于缓解因重复目标数据而导致的过拟合。因此，在数据受限的情况下，合理搭配通用数据与目标数据，可以在保持目标领域性能的同时，提升模型的泛化能力。这一机制为优化混合比例提供了新的视角。
缩放定律的实用价值
该研究提出的重复感知缩放定律，能够根据目标数据规模、计算预算和模型规模，给出最优的混合配置建议。这为大规模预训练中的数据配比选择提供了系统化的方法，避免了传统试错法的高成本。对于资源有限的场景，这一工具具有直接的实用意义。
Q&A
在数据受限条件下，混合预训练中重复使用目标数据多少次可以提升性能？
研究发现，稀缺目标语料可以重复使用15-20次，且最佳重复次数取决于目标数据规模、计算预算和模型规模。
混合预训练中，目标数据与通用数据的比例如何影响模型性能？
存在权衡：目标数据过少会导致模型对目标领域暴露不足，过多则重复示例过多，导致收益递减和过拟合。
该研究提出了什么缩放定律？它如何帮助优化数据混合配置？
研究提出了考虑重复价值递减的混合缩放定律，通过优化该定律可以计算出有效的混合配置，为数据受限下的预训练提供实用的混合建议。
该研究进行了多少实验？覆盖了哪些数据类型？
研究进行了超过2000次语言模型训练实验，覆盖了多语言、领域特定和质量过滤的混合数据。
与单一来源训练相比，混合训练在重复容忍度上有何不同？
混合训练比单一来源训练能容忍更高的重复次数，稀缺目标语料可重复使用15-20次，而单一来源训练可能更早过拟合。
该研究的主要发现是什么？
主要发现是重复是目标领域性能的核心驱动因素，混合训练能容忍高重复，且提出了考虑重复价值递减的缩放定律来优化混合配置。
