MM-Eval:现代蒙古语评估的层次基准
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对大型语言模型(LLMs)在低资源语言(如蒙古语)中的表现,提出了MM-Eval,一个系统化的评估数据集。研究发现,模型在句法任务上优于语义任务,显示出对深层语言理解的不足;同时,知识任务表现出适度下降,表明模型能够将高资源环境中的通用知识迁移到低资源环境。这一数据集的发布为推动低资源语言的自然语言处理和大型语言模型的发展提供了重要支持。
本研究提出了MM-Eval评估数据集,评估大型语言模型在低资源语言(如蒙古语)中的表现。结果表明,模型在句法任务上优于语义任务,知识任务表现适度下降,显示出模型能够将高资源知识迁移至低资源环境。该数据集为低资源语言的自然语言处理提供了重要支持。