IndicGenBench：用于评估 LLMs 在印度语言上的生成能力的多语言基准测试
内容提要
本文介绍了针对印度语言的自然语言生成基准，如IndicNLG和IndicXTREME，评估了多种模型在不同任务上的表现。研究发现，GPT-4和PaLM2在资源稀缺语言上表现优异，并提出了针对Indic LLMs的资源套件，以推动相关研究和开发。此外，文章探讨了大型语言模型在法律领域和机器翻译中的能力，强调了多语言能力的重要性。
延伸解读
印度语言NLP基准的演进与覆盖
文章梳理了IndicNLG、IndicXTREME和GlobalBench等基准，覆盖从11种到190种语言，任务从自然语言生成扩展到多语言理解。IndicNLG聚焦5个生成任务，IndicXTREME包含9个任务和18种语言，GlobalBench则监测190种语言的966个数据集。这些基准逐步扩大语言和任务范围，为评估LLMs在印度语言上的表现提供了更全面的基础。
资源稀缺语言上的模型表现差异
在MEGAVERSE数据集上，GPT-4和PaLM2在多个任务上超过Llama模型，尤其在资源稀缺语言中，GPT-4在更多数据集上优于PaLM2。这表明不同模型对低资源语言的适应能力存在差异，但文章也指出需解决数据污染等问题才能准确评估非英语性能。因此，读者在参考这些结果时，应注意评估方法的局限性。
针对印度语言LLM的资源建设
为弥补资源稀缺差距，文章介绍了一个针对Indic LLMs的资源套件，涵盖22种语言、251亿词汇和7480万指令-响应对。该套件结合手动验证、未验证和合成数据，并建立开源流水线进行爬取、清理、标记和去重。此外，通过生成有毒提示并微调LLaMa2来生成非有毒响应，以解决毒性对齐问题。这些资源以宽松许可证发布，旨在推动研究和开发。
多语言能力在法律与翻译领域的评估
文章提到LawBench基准评估法律领域能力，发现GPT-4表现最佳但仍有提升空间。在机器翻译方面，研究探索了LLMs对英语和22种印度语言的翻译能力，通过参数高效微调和完全微调确定最佳性能模型，结果表明LLMs在机器翻译上取得显著进展。这些评估强调了多语言能力的重要性，并为未来改进提供了方向。
Q&A
IndicNLG 基准测试的主要任务有哪些？
IndicNLG 基准测试包括人物传记生成、新闻标题生成、句子摘要、改写生成和问题生成等五个任务。
GPT-4 和 PaLM2 在资源稀缺语言上的表现如何？
研究发现，GPT-4 和 PaLM2 在资源稀缺语言的多个任务上表现优于 Llama 模型，尤其是 GPT-4 在更多数据集上表现更佳。
Indic LLMs 的资源套件包含哪些内容？
Indic LLMs 的资源套件包含 22 种语言，总共有 251 亿词汇和 7480 万指令-响应对，旨在弥补资源稀缺带来的模型建设差距。
GlobalBench 测试集的目的是什么？
GlobalBench 测试集旨在跟踪和激励对不平衡的 NLP 系统表现的关注，覆盖 190 种语言的 966 个数据集。
大型语言模型在法律领域的表现如何？
在法律领域的能力评估中，GPT-4 被发现是表现最好的模型，但仍有提升空间。
如何推动支持所有 22 种印度语言的机器翻译模型的发展？
通过整合并创建特定于印度的并行语料库和基准测试数据，推动支持所有 22 种印度语言的机器翻译模型的发展。
