本研究解决了自动文本摘要评估指标和大型语言模型（LLM）作为评判者模型在西班牙语和巴斯克语中的有效性不足的问题。通过新的BASSE数据集，我们收集了2040个摘要的人类评估数据，结果显示专有评判的LLM与人类判断的相关性最高，这为多语言摘要评估提供了重要的见解和影响。发表的BASSE数据集和代码为后续研究提供了基础。

本研究建立了EuskañolDS语料库，解决了巴斯克语与西班牙语之间代码切换的数据不足问题，为理解和生成代码切换语言奠定基础。

本研究分析了大型语言模型（LLMs）在资源丰富与不足语言之间的差距，以巴斯克语为例。研究表明，高质量的巴斯克语语料库通过预训练和指令调优显著提升了模型的自然语言理解和指令执行能力。

本文研究了多语言自然语言推断（NLI）数据集的改进与应用，涵盖14种语言的MNLI数据集，探索资源匮乏语言中的模型训练效果。提出了IndicXNLI和SciNLI等新数据集，分析了不同预训练模型的表现，强调了多语言推断的挑战与进展。

我们介绍了 Latxa，这是一系列从 7 到 700 亿参数的巴斯克语言模型。Latxa 基于 Llama 2，并在新的巴斯克语语料库上进行持续预训练。我们还引入了 4 个多项选择评估数据集，并在广泛的评估中，Latxa 在各个方面的性能都超过了以往的开放模型，尽管在阅读理解和知识密集型任务上落后于 GPT-4 Turbo。Latxa...