印度 LLM 的预训练数据和分词工具
内容提要
本文介绍了针对印度语言的大规模预训练数据集和工具的开发，涵盖22种语言，旨在推动自然语言处理（NLP）研究。通过构建开源流水线和生成非有毒响应，研究为资源匮乏语言的模型建设提供了蓝图。iNLTK库和IndicXNLI数据集的推出，展示了在文本分类和跨语言转移技术中的优越表现，促进了印度语言的NLP研究进展。
延伸解读
数据构建与毒性对齐策略
文章提到，该资源套件结合了手动验证、未验证和合成数据，并建立了开源流水线进行爬取、清理、标记和去重。针对毒性对齐问题，研究通过生成多种情景的有毒提示，并输入经过校对的LLaMa2模型来生成非有毒响应。这种方法旨在解决预训练数据中的毒性问题，为印度语言LLM提供更安全的训练数据。
iNLTK库的实用价值
iNLTK是一个支持13种印度语言的开源NLP库，提供预训练模型及数据增强、文本相似性、句子嵌入、词嵌入、分词和文本生成等功能。在公开数据集上的文本分类任务中，其表现优于以往结果，且使用不到10%的训练数据即可达到先前最佳表现的95%以上。该库在GitHub上已有40000+下载、600+星标和100+叉子，显示出社区认可度。
跨语言转移与生成评估资源
IndicXNLI数据集用于分析11种印度语言的跨语言转移技术，研究不同预训练模型、语言及多语言输入等因素的影响。IndicNLG基准则评估11种印度语言的自然语言生成任务，包括人物传记生成、新闻标题生成等5个任务。这些资源为印度语言NLP研究提供了标准化的评估平台，有助于推动跨语言和生成任务的发展。
神经信息检索资源的性能提升
IndicIRSuite是首次为大量印度语言构建大规模神经信息检索资源的尝试，包括INDIC-MARCO数据集和Indic-ColBERT模型集合。实验表明，Indic-ColBERT在11种印度语言上的MRR@10得分平均改进47.47%，在MIRACL孟加拉语和印地语基线上的NDCG@10得分平均改进12.26%，在Mr.Tydi孟加拉语基线上的MRR@100得分改进20%。这些资源可加速印度语言神经信息检索的研究。
Q&A
印度语言的预训练数据集包含哪些内容？
该数据集涵盖22种语言，包含251亿词汇和7480万指令-响应对。
iNLTK库的主要功能是什么？
iNLTK库支持13种印度语言的预训练模型，提供数据增强、文本相似性、句子嵌入、词嵌入、分词和文本生成等功能。
IndicXNLI数据集的用途是什么？
IndicXNLI数据集用于分析11种印度语言的跨语言转移技术。
如何解决预训练数据中的毒性问题？
通过生成多种情景的有毒提示，并将其输入到经过校对的LLaMa2模型中生成非有毒响应来解决毒性问题。
IndicNLP语料库的目标是什么？
IndicNLP语料库旨在加速印度语言的自然语言处理研究，包含27亿词。
IndicNLG基准的评估任务包括哪些？
IndicNLG基准包括人物传记生成、新闻标题生成、句子摘要、改写生成和问题生成等5个任务。
