IberBench：西班牙语、葡萄牙语、加泰罗尼亚语、巴斯克语和加利西亚语大型语言模型评估基准

IberBench是一个新基准，旨在评估西班牙、葡萄牙及其地区语言的大型语言模型（LLMs）。

该基准整合了101个数据集，涵盖22个任务，关注语言多样性和行业相关性。

评估结果显示，LLMs在行业相关任务上表现不佳，尤其是加利西亚和巴斯克语言的模型面临更大挑战。

IberBench的设计旨在填补现有基准在非英语语言评估中的空白，特别是伊比利亚半岛和伊比利亚美洲的语言。

该基准允许通过社区驱动的模型和数据集提交进行持续更新，确保其长期相关性。

IberBench的评估方法包括人工评估和自动评估，后者更快速、经济且可重复。

IberBench的架构包括四个关键组件：排行榜用户界面、组织、数据集和LLM评估管道。

排行榜提供了一个交互式界面，用户可以查看不同任务类型、语言和语言变体的模型表现。

IberBench组织由七位来自学术界和工业界的专家组成，负责确保质量和完整性。

IberBench包含的101个数据集来自多个工作坊，确保了数据的伦理使用和适当归属。

评估管道通过系统化的过程测量LLM性能，涵盖分类、生成和序列标注任务。

评估结果显示，Qwen-2.5系列模型在基准中表现最佳，语言专业化存在权衡。

中型模型（3-10亿参数）在排行榜中表现最佳，而大型模型表现不佳。

IberBench揭示了LLMs在行业相关任务上表现不佳的趋势，尤其是在加利西亚和巴斯克语言上。

尽管IberBench具有全面性，但仍存在数据依赖、模型限制和伦理考虑等局限性。

研究人员计划继续扩展IberBench，增加新的数据集和模型，以促进社区合作和负责任的语言技术发展。