分词不仅仅是压缩

通过广泛实验，研究发现较少的令牌并不会提高下游性能，对有效的标记化原因产生怀疑。评估了标记化的三个阶段的设计决策，强调了预标记化和使用BPE进行初始化词汇构建的好处。