本文分析了预训练mT5模型在90种语言对之间的跨语言学习，发现语法和音韵相似度对零样本性能有良好预测性。研究表明，源语言和目标语言的脚本相同会提升模型表现，混合脚本的语言表现优于单一语言。此外，提出了一种跨语言知识共享架构，通过交叉关注生成更好的文本表示，显著提升低资源语言的性能。

本文探讨了跨语言学习和转移学习在多语言文本分类中的应用，提出了多种方法以提高低资源语言的性能，包括使用多语言BERT、神经网络和Transformer模型。研究表明，结合语言特征和数据集扩充能显著提升模型效果。

本研究分析了大型语言模型在自然语言推理中的表现，发现其在理解介词、动词和否定句等方面存在不足。提出了新的任务和方法以提升模型的语言理解能力，并通过实验验证了其有效性。同时，研究探讨了模型大小和训练时间对语言理解的影响，强调了跨语言学习的潜力。

本研究提出了一种结合自监督语言建模与受监督机器翻译的预训练策略，显著提升了模型的上下文学习能力。通过视觉和语言的跨语言预训练方法，研究表明基于视觉的表示在多模式机器翻译中表现优越。此外，提出了两种跨语言学习模型，分别依赖于单语数据和平行数据，取得了先进的跨语言分类和翻译结果。

本文介绍了 SIGMORPHON 2023 共享任务的基线系统，利用 Transformer 架构实现语言文献编制的自动化。研究表明，IGT 数据在 NLP 项目中有效，明确任务和评估步骤至关重要。通过多种模型和方法，提升了低资源语言的自然语言生成性能，并在跨语言学习中取得显著进展。