本研究提出了一种词汇课程学习方法，旨在解决现代语言模型对静态词汇的依赖。通过结合熵引导的词汇扩展与模型优化，动态标记化显著提升了预训练效率和可扩展性，具有广泛的潜在影响。

Scaling Pre-training of Large Language Models with Vocabulary Curriculum
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证