BriefGPT - AI 论文速递 · 2023-11-15T00:00:00Z 大型语言模型的多阶段协作知识蒸馏 💡 原文中文，约300字，阅读约需1分钟。 📝 内容提要 本论文提出了一种新的多层次多语种知识蒸馏方法（MMKD），通过使用英语 BERT 的语义表征知识和师生框架，提高预先训练的多语种语言模型的性能。实验证明，MMKD 在跨语言评价任务中表现更好，并在低资源语言上获得显著的性能提升。 🏷️ 标签 MMKD 低资源语言 多层次多语种知识蒸馏方法 大型语言模型 英语 BERT 语义表征知识 阅读原文 生成长图 分享链接 已复制链接
