利用多个 CLS 令牌集成编码多领域科学论文
原文中文,约300字,阅读约需1分钟。发表于: 。使用多个 CLS 标记对科学文档进行多领域特化,提出 Multi2SPE 方法,并在多领域下的科学论文向量编码中展示 Multi2SPE 在减少错误率上的效果。
该论文介绍了一种通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习的方法。使用 SAMU-XLS-R 初始化编码器,在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输,提高了12.8个BLEU分数。在零-shot翻译情景下,平均提高了18.8分和11.9个BLEU分数。