YuLan-Mini: An Open Data-Efficient Language Model

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

YuLan-Mini是一种开放的数据高效语言模型,旨在提高大语言模型的预训练效率。通过优化数据处理、增强训练稳定性和有效的退火策略,YuLan-Mini显著提升了训练效率,展现出卓越性能和减少资源需求的潜力。

🏷️

标签

➡️

继续阅读