DEV Community
·
大语言模型基础：分词的奇妙世界
💡
原文英文，约1500词，阅读约需6分钟。
📝
内容提要
本文介绍了大语言模型中的分词技术，分词是将文本拆分为更小单位（tokens）以便机器处理。主要有三种分词方法：字符级、词级和子词级。子词分词在字符和词之间取得平衡，常用算法包括BPE和WordPiece。在处理不同长度序列时需注意填充和特殊标记，同时需考虑词汇大小和未知标记的处理。
🎯
关键要点
- 分词是将文本拆分为更小单位（tokens），以便机器处理。
- 主要有三种分词方法：字符级、词级和子词级。
- 字符级分词将每个字符作为一个token，优点是词汇量小，但序列较长且语义信息丢失。
- 词级分词在单词边界处拆分文本，保留了单词的语义，但词汇量大且处理复合词和拼写错误困难。
- 子词分词在字符级和词级之间取得平衡，常用算法包括BPE和WordPiece。
- BPE通过迭代合并最频繁的字符对来构建词汇，适用于形态丰富的语言。
- WordPiece根据合并的频率来决定是否合并token，常用于BERT模型。
- 处理不同长度序列时需要注意填充和特殊标记，如[PAD]、[CLS]、[SEP]等。
- 词汇大小影响模型性能和计算效率，过小或过大都会导致问题。
- 需要有处理未知token的策略，以避免模型在遇到未知token时出现问题。
- 提供了一个简单的BPE分词器的实现示例，展示了如何训练BPE模型。
➡️
