多语种句子级语义搜索使用 Meta-Distillation 学习
原文中文,约400字,阅读约需1分钟。发表于: 。在本研究中,我们提出了一种面向低资源场景的对齐方法:MAML-Align,利用基于优化的模型无关元学习器 MAML 进行元蒸馏学习,从面向单语和双语语义搜索的 Teacher 元迁移模型 T-MAML 中提取知识,再将其转移到面向多语言语义搜索的 Student 模型 S-MAML...
本研究提出了一种面向低资源场景的对齐方法:MAML-Align,利用基于优化的模型无关元学习器 MAML 进行元蒸馏学习,从面向单语和双语语义搜索的 Teacher 元迁移模型 T-MAML 中提取知识,再将其转移到面向多语言语义搜索的 Student 模型 S-MAML 中。实验结果表明,相对于朴素微调方法,元蒸馏方法提升了基于句子转换器的强基线的效果,且显著超过了 MAML 所提供的增益。多语言元蒸馏学习还提高了对未知语言的泛化能力。