本文介绍了YuLan-Mini模型，旨在提升大语言模型的预训练效率。通过优化数据处理、增强训练稳定性和有效的退火策略，该模型显著提高了训练效率，展现出卓越性能和降低资源需求的潜力。

本研究解决传输学习中的数据集剪枝问题，通过标签和特征映射方法提高预训练效率并保持准确度。实验证明该方法在多个传输学习任务上有效，可剪枝源数据类别达40%至80%，并实现2至5倍加速。适用于其他计算密集型传输学习技术。