本研究探讨了XLM-R预训练模型在英语到日语和印尼语的跨语言迁移学习中的适用性。结果表明，该模型在日语数据集上表现最佳，并在其他数据集上也取得了良好效果，验证了多语言模型的有效性。

该文章介绍了首个多语言语言可接受性基准MELA，并分析了经过精调的XLM-R的权重。结果显示ChatGPT在上下文实例方面表现良好，但仍落后于精调的XLM-R。GPT-4在零-shot设置中与精调的XLM-R性能相当。跨语言和多任务学习实验表明，语言内的训练数据对语言可接受度判断至关重要。文章还引入了冲突权重的概念，可能是跨语言转移困难的潜在指标。

首个多语言语言可接受性基准MELA涵盖10种语言，分析了XLM-R的权重和语言转移困难，结果显示ChatGPT落后于精调的XLM-R，GPT-4在零-shot设置中性能相当。跨语言和多任务学习实验表明语言内的训练数据至关重要。引入了冲突权重的概念，可能是跨语言转移困难的指标。

该研究使用RoBERTa和XLM-R语言模型预测在线产品评论的帮助度，结果表明预训练语言模型比传统特征工程更有效，多语言模型表现更佳。但多语言模型不能用于单一语言的微调，评论人打的分数等附加特征也可以增强模型的预测准确度。

本文介绍了基于印尼语版 Sirah Nabawiyah 文献构建的 QASiNa 数据集，并使用 mBERT、XLM-R 和 IndoBERT 模型进行了实验。结果显示，XLM-R 模型在 QASiNa 上表现最佳，而 Chat GPT 不适用于宗教领域的问答任务。

本文研究了使用高资源语言预训练的模型权重作为启动来降低获取低资源语言高质量语言模型所需的数据和计算量的方法，并提出了一种嵌入初始化方法FOCUS，该方法在适应XLM-R时优于先前的方法。