Redis Blog
·
大型语言模型中的令牌化：每位人工智能应用开发者需要了解的内容
内容提要
向大型语言模型（LLM）发送提示时，文本会被分割成令牌，这影响成本、响应速度和上下文容量。令牌化分为四个阶段，模型基于令牌处理文本。选择合适的令牌化方法（如子词令牌化）可提高效率，理解令牌化有助于优化应用性能和成本，管理上下文预算至关重要。
关键要点
-
向大型语言模型（LLM）发送提示时，文本会被分割成令牌，影响成本、响应速度和上下文容量。
-
令牌化分为四个阶段：预令牌化、子词分割、词汇查找和向量嵌入查找。
-
选择合适的令牌化方法（如子词令牌化）可以提高效率，管理上下文预算至关重要。
-
三种令牌化方法：词级令牌化、字符级令牌化和子词令牌化，各有不同的优缺点。
-
子词令牌化在处理形态变化时更有效，因此成为许多大型语言模型的默认选择。
-
令牌化和向量嵌入是同一管道的不同阶段，令牌化生成整数ID，向量嵌入将这些ID转换为密集浮点向量。
-
令牌数量直接影响成本和延迟，主要LLM提供商按令牌计费，输出令牌通常比输入令牌更贵。
-
管理上下文窗口的预算是关键，系统提示、用户输入、检索上下文和模型输出四者竞争有限的预算。
-
通过优化提示、智能检索和语义缓存，可以减少令牌化对应用速度和成本的影响。
-
理解令牌的工作原理可以帮助优化成本、延迟和上下文容量，提升应用性能。
延伸解读
令牌化对成本的影响
在大型语言模型中，令牌数量直接影响应用的成本。主要的LLM提供商通常按令牌计费，输出令牌的费用往往高于输入令牌。因此，开发者在设计应用时需要关注令牌的使用，优化提示内容，以降低不必要的费用。
上下文预算管理
管理上下文窗口的预算至关重要。系统提示、用户输入、检索上下文和模型输出四者共享有限的令牌预算。开发者应当在设计时考虑如何平衡这些因素，以确保应用的性能和成本效益。
选择合适的令牌化方法
不同的令牌化方法（如词级、字符级和子词令牌化）各有优缺点。子词令牌化因其在处理形态变化时的高效性，已成为许多大型语言模型的默认选择。开发者应根据应用需求选择合适的令牌化策略，以优化性能。
延伸问答
什么是令牌化，它在大型语言模型中有什么作用？
令牌化是将文本分割成令牌的过程，这些令牌是模型处理文本的基本单位，影响成本、响应速度和上下文容量。
令牌化的四个阶段是什么？
令牌化的四个阶段是预令牌化、子词分割、词汇查找和向量嵌入查找。
子词令牌化相比其他方法有什么优势？
子词令牌化在处理形态变化时更有效，能够更好地处理稀有词汇，因此成为许多大型语言模型的默认选择。
令牌数量如何影响大型语言模型的成本和延迟？
令牌数量直接影响成本和延迟，主要LLM提供商按令牌计费，输出令牌通常比输入令牌更贵，且长序列会导致延迟增加。
如何优化令牌化以提高应用性能？
可以通过优化提示、智能检索和语义缓存来减少令牌化对应用速度和成本的影响。
什么是上下文预算，它在令牌化中有什么重要性？
上下文预算是指在请求中系统提示、用户输入、检索上下文和模型输出之间的有限资源竞争，管理好预算对应用性能至关重要。
