针对多语言模型剪枝的语言特定校准
💡
原文中文,约200字,阅读约需1分钟。
📝
内容提要
本论文研究了多语言预训练语言模型在问答任务中的校准性质,包括不同维度的研究和改进策略。实验证明了自动翻译数据增强是提高模型校准性的高效技术。进行了模型大小和多语言模型与单语模型的比较实验。
🎯
关键要点
- 研究多语言预训练语言模型在问答任务中的校准性质
- 从分布内、分布外和跨语言迁移设置研究校准情况
- 探讨改进校准性的策略和技术
- 实验证明自动翻译数据增强提高模型校准性
- 比较多语言模型与单语模型在不同任务和语言下的表现
➡️