DEV Community
·
字节对编码：大型语言模型背后的基本原理
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
大型语言模型（LLM）如DeepSeek和GPT比文本自动纠错机制更复杂。它们基于N-gram模型，通过概率预测下一个单词，分解文本为词对并计算频率。分词方法包括空格分词和字节对编码（BPE），后者通过字符频率构建词汇，减少词汇量并识别未知术语。现代LLM采用更复杂的策略，超出本文讨论范围。
🎯
关键要点
- 大型语言模型（LLM）如DeepSeek和GPT比文本自动纠错机制更复杂。
- N-gram语言模型是LLM的简单前身，通过概率预测下一个单词。
- N-gram模型的限制在于需要输入特定的词序列才能进行预测。
- 双字模型通过检查词对频率来分配概率。
- 分词方法包括空格分词、词缀分词和字节对编码（BPE）。
- 字节对编码（BPE）通过字符频率构建词汇，减少词汇量并识别未知术语。
- 现代LLM采用更复杂的策略，超出本文讨论范围。
➡️
