本研究探讨了XLM-R预训练模型在英语到日语和印尼语的跨语言迁移学习中的应用。结果表明，该模型在日语数据集上表现最佳，其他数据集也有良好效果，验证了多语言模型的有效性。

本文介绍了首个多语言可接受性基准MELA，涵盖10种语言的48K样本。分析表明，ChatGPT在上下文实例中的表现优于XLM-R，但仍不及其精调版本。GPT-4在零-shot设置下与XLM-R性能相当，强调了语言内训练数据的重要性，并引入冲突权重概念作为跨语言转移困难的指标。

该文章介绍了IndoNLI数据集，是第一个适用于印度尼西亚语的NLI数据集。作者使用MNLI的数据收集协议，收集了近18K个句子对。实验结果显示，XLM-R在该数据集上的性能优于其他预训练模型，但仍远低于人类性能。作者发现专家标注数据比众包标注数据更多样化，注释工件更少。希望该数据集能推动印尼自然语言处理研究的进展。

这篇文章是第一篇全面分析面向Sinhala文本分类的预训练语言模型性能的研究。研究发现XLM-R是最好的模型，基于RoBERTa的单语Sinhala模型在Sinhala方面更优越。研究还提供了关于使用Sinhala文本分类的预训练模型的建议，并推出了新的注释数据集和预训练模型。

该文章介绍了首个多语言语言可接受性基准MELA，并分析了经过精调的XLM-R的权重。结果显示ChatGPT在上下文实例方面表现良好，但仍落后于精调的XLM-R。GPT-4在零-shot设置中与精调的XLM-R性能相当。跨语言和多任务学习实验表明，语言内的训练数据对语言可接受度判断至关重要。文章还引入了冲突权重的概念，可能是跨语言转移困难的潜在指标。

首个多语言语言可接受性基准MELA涵盖10种语言，分析了XLM-R的权重和语言转移困难，结果显示ChatGPT落后于精调的XLM-R，GPT-4在零-shot设置中性能相当。跨语言和多任务学习实验表明语言内的训练数据至关重要。引入了冲突权重的概念，可能是跨语言转移困难的指标。

该研究使用RoBERTa和XLM-R语言模型预测在线产品评论的帮助度，结果表明预训练语言模型比传统特征工程更有效，多语言模型表现更佳。但多语言模型不能用于单一语言的微调，评论人打的分数等附加特征也可以增强模型的预测准确度。

本文介绍了基于印尼语版 Sirah Nabawiyah 文献构建的 QASiNa 数据集，并使用 mBERT、XLM-R 和 IndoBERT 模型进行了实验。结果显示，XLM-R 模型在 QASiNa 上表现最佳，而 Chat GPT 不适用于宗教领域的问答任务。

本文研究了使用高资源语言预训练的模型权重作为启动来降低获取低资源语言高质量语言模型所需的数据和计算量的方法，并提出了一种嵌入初始化方法FOCUS，该方法在适应XLM-R时优于先前的方法。