数据混合推断：BPE 分词器对其训练数据的揭示
内容提要
本文分析了不同分词方法（如BPE和unigram）对Transformer语言模型的影响，发现unigram在任务表现上优于BPE，建议开发者采用unigram。同时，研究提出了一种新型分词器LiB，能够有效减少标记数量并提升模型适应性。实验结果强调了分词在现代大语言模型中的重要性，并探讨了分词器优化对生成速度和上下文大小的影响。
延伸解读
分词方法比较：unigram 与 BPE 的实证差异
文章通过对比实验发现，在预训练 Transformer 语言模型时，unigram 分词方法在任务绩效上匹配或优于 BPE。这一结论基于对两种方法细微影响的系统分析，建议开发者在预训练时优先考虑 unigram。该发现强调了分词策略选择对模型最终表现的实际影响，而非仅关注模型架构或数据规模。
LiB 分词器：基于认知科学的新思路
文章提出了一种受认知科学“最省力原则”启发的 LLN 分词器 LiB，它能自主学习由子词、词和多词表达式组成的综合词汇，从而有效减少标记和类型的数量。比较评估显示，LiB 优于现有的词级和 BPE 分词器，为分词器开发提供了创新方向，并提示未来基于认知科学的分词器可能更高效。
分词器优化对生成速度与上下文的影响
在代码生成任务的详细实验中，文章发现分词器超参数选择和预训练 LLM 中切换分词器对生成速度和有效上下文大小有显著影响。特别是在超过 500 亿个标记的微调过程中，对预训练 LLM 的分词器进行专门优化可以显著提升这两项指标。这表明分词器设计不仅是预处理步骤，更直接关系到模型的实际运行效率。
压缩能力与下游性能的相关性及局限
文章通过变化训练数据量，研究了 BPE 分词器的压缩能力对预训练语言模型下游性能的影响，发现压缩能力与模型性能存在相关性，因此构建压缩效果更好的分词器是一个有前景的研究方向。但文章也指出，较少的令牌并不一定导致更好的下游性能，这挑战了对有效标记化原因的传统理解，并强调了预标记化的重要性。
Q&A
BPE和unigram分词方法的主要区别是什么？
BPE在任务表现上通常不如unigram，后者在性能上匹配或优于BPE，因此建议开发者使用unigram。
LiB分词器的优势是什么？
LiB分词器能够有效减少标记数量并提升模型适应性，优于现有的词级和BPE分词器。
分词在现代大语言模型中的重要性是什么？
分词在现代大语言模型中至关重要，影响生成速度和上下文大小，常常被忽视。
如何优化分词器以提高生成速度？
可以通过在预训练过程中专门优化分词器的超参数来显著提高生成速度和有效上下文大小。
较少的令牌是否总是意味着更好的下游性能？
研究发现，较少的令牌并不一定导致更好的下游性能，强调了预标记化的重要性。
未来的分词器研究方向是什么？
未来的研究方向包括构建压缩效果更好的分词器，以提高模型性能。
