INDIC QA BENCHMARK：评估印度语系大语言模型问答能力的多语言基准
内容提要
本文提出了一个用于评估印度语问答模型的新基准IndicGenBench，以解决现有英语数据集翻译带来的偏差。研究评估了多种大型语言模型在该基准上的表现，发现PaLM-2模型在大多数任务中表现最佳，但与英语相比，所有语言仍存在显著差距，需进一步研究以提升多语言模型的性能。
延伸解读
基准构建方法的创新
IndicGenBench 采用基于大型语言模型在提取环境中生成数据集的方法，而非依赖英语数据集的机器翻译。这有助于减少翻译引入的偏见和不准确性，确保数据对目标语言的相关性，为印度语问答评估提供更可靠的基准。
覆盖范围与评估模型
该基准覆盖13种脚本、4种语系和29种印度语言，是迄今最大的印度语基准之一。研究评估了GPT-3.5、GPT-4、PaLM-2、mT5、Gemma、BLOOM和LLaMA等多种模型，其中PaLM-2在多数任务中表现最佳，但所有语言与英语相比仍存在显著性能差距。
多语言性能差距的启示
尽管PaLM-2表现优异，但印度语与英语之间的性能差距表明当前多语言模型对印度语的支持仍不足。这提示需要进一步研究开发更具包容性的多语言模型，以提升印度语等低资源语言的问答能力。
Q&A
IndicGenBench是什么？
IndicGenBench是一个用于评估印度语问答模型的新基准，旨在解决现有英语数据集翻译带来的偏差。
PaLM-2模型在IndicGenBench上的表现如何？
PaLM-2模型在大多数任务中表现最佳，但与英语相比，所有语言仍存在显著的性能差距。
IndicGenBench覆盖了多少种语言和脚本？
IndicGenBench覆盖13种脚本、4种语系以及29种印度语言。
为什么需要开发IndicGenBench？
需要开发IndicGenBench是为了提供更准确可靠的评估工具，促进印度语NLP研究的进展。
研究中提到的其他大型语言模型有哪些？
研究中提到的其他大型语言模型包括GPT-3.5、GPT-4、mT5、Gemma、BLOOM和LLaMA。
多语言模型的性能提升需要哪些方面的研究？
多语言模型的性能提升需要进一步研究以开发更具包容性的模型，尤其是在与英语的性能差距方面。
