本文研究了神经机器翻译（NMT）中不同层次的向量表示，发现高层次语义学习更有效，而低层次词性标注效果更佳。探讨了多语言翻译性能，提出基于Kullback-Leibler散度的正则化方法，构建了通用NMT系统，实现103种语言的翻译，提升了低资源语言的翻译质量。此外，研究还提出了动态位置编码方法，显著提高了翻译性能。

本文介绍了多种位置编码方法在Transformer模型中的应用，包括解耦位置注意力、动态位置编码和相对位置编码等。这些方法在翻译和分类任务中显著提升了性能，尤其在GLUE、XTREME和WMT基准测试中表现优异。研究还探讨了优化位置信息利用的方向。