元数据调节加速语言模型预训练

本研究解决了语言模型预训练中各类数据源所带来的学习效率低下的问题。提出了一种新方法——元数据调节然后冷却（MeCo），通过在训练中引入元数据并在后期进行冷却，使得模型能够正常工作。研究表明，使用MeCo的语言模型在下游任务中表现优越，数据利用率提高33%。