本研究提出了一种词汇课程学习方法，旨在解决现代语言模型对静态词汇的依赖。通过结合熵引导的词汇扩展与模型优化，动态标记化显著提升了预训练效率和可扩展性，具有广泛的潜在影响。

YuLan-Mini是一种开放的数据高效语言模型，旨在提高大语言模型的预训练效率。通过优化数据处理、增强训练稳定性和有效的退火策略，YuLan-Mini显著提升了训练效率，展现出卓越性能和减少资源需求的潜力。