本研究提出了一种新颖的混合蒸馏方法,旨在提升低资源语言的多语种模型知识蒸馏性能。该方法结合了传统知识蒸馏与注意力匹配机制,实验结果显示在五种非洲语言上表现良好,学生模型体积比传统模型小85%以上,准确率保持在85%。
完成下面两步后,将自动完成登录并继续当前操作。