本文探讨了多语言预训练模型的效率，强调基于子词的模型在内存使用、推理速度和数据健壮性方面的优势。提出了一种无需词汇表的神经分词器，显著提升了多语言任务的性能。此外，研究介绍了通过张量列分解压缩模型嵌入层的方法，以及基于字节级文本的Transformer架构，展现出更高的稳健性和精度。

该文综述张量分解在语言模型压缩中的应用，涵盖Kronecker分解、张量列分解、量化感知训练等方法，可将GPT、BERT、LLaMA等模型压缩至原大小的5%至1/48，并在多项NLP基准上保持或提升性能，显著加速推理，适合边缘设备部署。