BriefGPT - AI 论文速递 · 2025-02-25T00:00:00Z

AfroXLMR-Comet: Multilingual Knowledge Distillation and Attention Matching for Low-Resource Languages

📝

内容提要

本研究提出了一种新颖的混合蒸馏方法，旨在提升低资源语言的多语种模型知识蒸馏性能。该方法结合了传统知识蒸馏与注意力匹配机制，实验结果显示在五种非洲语言上表现良好，学生模型体积比传统模型小85%以上，准确率保持在85%。

🏷️

标签

低资源语言 多语种模型 注意力匹配 混合蒸馏 知识蒸馏