五种经过验证的Token压缩与提示词优化技巧
内容提要
本文介绍五种降低大模型Token消耗的提示词优化技巧：用结构化约束替代冗长指令；少样本示例控制在三到五个；对长文档动态裁剪上下文，仅保留相关段落；利用提示缓存复用固定前缀；将思维链推理与最终答案分离，丢弃推理过程。这些方法可显著降低成本并提升响应速度。
延伸解读
结构化约束：用声明式格式替代自然语言
文章指出，将冗长的自然语言指令压缩为管道符分隔的键值对或YAML式约束，能大幅减少Token。例如，一段36个Token的指令可压缩至约14个Token。这种声明式格式让模型更高效地解析意图，且节省在大量API调用中会累积成显著成本优势。
少样本示例：三到五个通常足够
提供示例能提升输出一致性，但过多示例不仅收益递减，还可能引入矛盾。文章建议将少样本示例控制在3到5个，并审计现有提示，在1、3、5个示例下分别测试质量，再决定是否增加。这有助于避免不必要的Token开销。
动态上下文裁剪：只保留相关段落
处理长文档时，模型往往不需要全文。通过句子嵌入和余弦相似度检索最相关的段落，可以大幅削减上下文Token。文章示例中，一个10,000 Token的知识库若仅800 Token相关，成本可降低90%以上。实现时需注意嵌入模型的选择和top_k参数的调整。
提示缓存与思维链分离：复用与丢弃
对于重复的系统提示，利用提供商的提示缓存功能可复用静态前缀，按较低费率计费。同时，将思维链推理与最终答案分离，用标记区分，应用只保留答案，丢弃推理过程，能有效控制输出Token成本。实施前需查阅提供商文档，了解缓存阈值和计费规则。
Q&A
如何用结构化约束替代冗长指令来减少Token消耗？
将叙述性指令改为声明式约束，使用管道分隔的键值对、YAML风格约束或JSON模式片段。例如，把“请确保回复时始终使用项目符号，答案不超过100字，不要包含任何前言或结束语”压缩为“格式：项目符号 | 最大：100字 | 省略：前言、结束语”，可将36个Token减少到约14个。
少样本示例应该放多少个效果最好？
研究表明，对于大多数分类和生成任务，超过三到五个示例后收益递减。三个示例通常足以建立模式，增加更多示例很少提高准确性，反而可能引入矛盾。建议在提交更大集合前，先在一、三、五个示例下基准测试质量。
处理长文档时如何动态裁剪上下文以节省Token？
使用动态上下文裁剪，仅检索相关段落而非整个文档。可通过句子嵌入和余弦相似度实现：将查询和段落编码，计算相似度，选取最相关的top_k个段落。例如，对于10000个Token的知识库，如果只有800个Token相关，此技术可削减超过90%的上下文成本。
什么是提示缓存？如何利用它降低Token成本？
提示缓存是让推理提供商在服务器端存储和复用静态提示前缀，缓存Token按标准输入价格的一小部分计费。应结构化提示，将稳定内容（如系统提示）放在前面，动态内容（如用户消息）放在最后。例如，Anthropic的提示缓存和OpenAI的自动前缀缓存都支持此功能，但需检查提供商的缓存文档，了解最小Token阈值和时间窗口。
如何压缩思维链推理的Token消耗？
使用草稿本分离技术，将推理过程与最终答案分开。通过结构化输出标记（如<thinking>和<answer>），让模型在<thinking>标签内逐步推理，在<answer>标签内提供最终答案。应用程序解析后丢弃<thinking>块，只存储和返回<answer>内容，从而减少输出Token成本。对于支持扩展思考的API，推理Token可能按不同费率计费，并可从响应体中抑制。
有哪些工具可以帮助优化Token使用？
推荐工具包括：LangChain（提供Token计数工具和RAG管道）、LiteLLM（统一接口跟踪Token使用和成本日志）、Sentence Transformers（用于语义段落检索的嵌入模型）、tiktoken（OpenAI的Tokenizer库，用于预检Token计数）以及Anthropic提示工程指南（涵盖缓存、结构化输出和CoT最佳实践）。
