基于字符级神经机器翻译和语言相似度
原文中文,约300字,阅读约需1分钟。发表于: 。我们探讨了基于字符级神经机器翻译的 Transformer 架构在不同语言相似度和训练数据集大小上的效果,针对捷克语、克罗地亚语、德语、匈牙利语、斯洛伐克语和西班牙语之间的翻译进行了评估,使用自动 MT 指标,证明了在相似语言之间,字符级输入分割有益;而对于不相关语言,字符级传统 Transformer 基本落后于子词级分割;我们实验证实了通过微调已经训练好的子词级模型可以弥补这一差距的先前研究结论。
本文研究了字符级神经机器翻译的Transformer架构在不同语言相似度和训练数据集大小上的效果。通过评估多种语言之间的翻译,证明了字符级输入分割在相似语言之间是有益的。对于不相关语言,字符级传统Transformer相对于子词级分割有所落后。实验证实了通过微调已经训练好的子词级模型可以弥补这一差距的先前研究结论。