2019年发布的GPT-2采用BPE算法进行tokenization，但效果有限。HuggingFace的研究表明，tokenization对模型的算术能力有显著影响，单位数tokenization在处理数字和复杂算术问题上表现优于其他方法，而右到左的tokenization也显示出优势。