IGOT：针对域自适应预训练的信息增益优化分词器
内容提要
本文探讨了通过适应标记器和领域自适应数据选择方法（TextGram）来优化预训练语言模型的性能，特别是在文本分类和跨语言翻译任务中的应用。研究表明，分词设计对大型语言模型（LLMs）至关重要，并提出了相应的优化策略。此外，介绍了开源模型InternLM2在生物医学和计算机科学领域的优越性，表现优于BERT BASE模型。
延伸解读
分词器优化：被忽视的性能杠杆
文章指出分词设计对大型语言模型至关重要却常被忽视。通过在代码生成任务中的实验，研究者提出了分词器超参数选择和在预训练LLM中切换分词器的建议。特别地，在超过500亿标记的微调过程中，对预训练LLM的分词器进行专门优化，可显著提高生成速度和有效上下文大小。这提示我们，在模型优化中，分词器不应被视为固定组件，而是一个可调整的关键因素。
领域自适应：小模型也能媲美专有预训练
文章介绍了一种通用方法：通过对通用预训练模型进行调整，并结合目标领域的任务无关知识蒸馏，开发出小型、快速且有效的领域特定模型。在生物医学和计算机科学领域，该方法表现优于BERT BASE，同时模型小3.3倍、快5.1倍。这表明，领域自适应可以在不牺牲性能的前提下，大幅降低计算成本和推断时间，为资源有限的应用场景提供了可行方案。
跨语言转移：资源稀缺语言的福音
文章编译了最大的跨语言翻译数据语料库，覆盖1.8k种语言，超过450k个样例。通过大规模多语言预训练和特定语言微调，模型在未分词文本和小型语料库上的形态准确性超过SOTA模型高达6.6%。这证明了跨语言转移对于资源稀缺语言的有效性，为低资源语言的自然语言处理提供了新的可能性。
InternLM2：开源模型的新标杆
InternLM2是一种开源大型语言模型，通过创新的预训练和优化技术，在多个维度和30个基准测试中优于之前的模型，尤其在长文本建模和开放主观评估方面表现突出。该模型使用了包括文本、代码和长文本数据在内的多种数据类型，并释放了不同训练阶段和模型大小的版本，为社区提供了对模型演进的深入理解。
Q&A
什么是TextGram，它的作用是什么？
TextGram是一种领域自适应数据选择方法，能够有效选择关键数据，在文本分类任务中表现优于其他选择方法。
分词设计对大型语言模型的重要性是什么？
分词设计对现代大型语言模型至关重要，优化分词器可以显著提高生成速度和有效上下文大小。
InternLM2模型相比于BERT BASE模型有哪些优势？
InternLM2在多个维度和基准测试中优于BERT BASE，特别是在长文本建模和开放主观评估方面表现突出，且模型更小更快。
如何通过适应标记器优化预训练语言模型？
通过适应标记器，可以将预训练语言模型转移到新领域，提供与专门领域预训练方法相当的性能，同时生成的模型更小，训练和推断时间更短。
跨语言翻译数据语料库的规模和覆盖范围如何？
编译的跨语言翻译数据语料库覆盖1.8k种语言，收集了超过450k个样例，是现有最大的语料库。
在生物医学和计算机科学领域，如何开发特定领域的小型预训练模型？
通过对通用预训练模型进行调整，并在目标领域进行任务无关的知识蒸馏，开发特定领域的小型、快速和有效的预训练模型。
