本文总结了文本分词方法，包括简单的空格分割、字符分割和子词分词器。子词分词器如BPE、字节级BPE、WordPiece和Unigram，能够有效缩小词表并学习有意义的表示，适用于多种语言文本。
完成下面两步后，将自动完成登录并继续当前操作。
