Latxa: 为巴斯克语建立的开放式语言模型和评估工具套件

📝

内容提要

我们介绍了 Latxa,这是一系列从 7 到 700 亿参数的巴斯克语言模型。Latxa 基于 Llama 2,并在新的巴斯克语语料库上进行持续预训练。我们还引入了 4 个多项选择评估数据集,并在广泛的评估中,Latxa 在各个方面的性能都超过了以往的开放模型,尽管在阅读理解和知识密集型任务上落后于 GPT-4 Turbo。Latxa...

🏷️

标签

➡️

继续阅读