向大型语言模型（LLM）发送提示时，文本会被分割成令牌，这影响成本、响应速度和上下文容量。令牌化分为四个阶段，模型基于令牌处理文本。选择合适的令牌化方法（如子词令牌化）可提高效率，理解令牌化有助于优化应用性能和成本，管理上下文预算至关重要。