本文探讨了多语言预训练模型的效率，强调基于子词的模型在内存使用、推理速度和数据健壮性方面的优势。提出了一种无需词汇表的神经分词器，显著提升了多语言任务的性能。此外，研究介绍了通过张量列分解压缩模型嵌入层的方法，以及基于字节级文本的Transformer架构，展现出更高的稳健性和精度。