本文介绍了字节对编码（BPE）作为自然语言处理中的子词标记化技术，解决了传统词基标记化的局限性，提升了词汇效率和处理未见词的能力。文章详细阐述了BPE的训练过程及其在新文本标记化中的应用，强调了顺序合并规则的重要性，指出BPE在现代语言模型中的关键角色。