DigitalOcean推理路由器现支持缓存感知：为何最便宜的模型并非总是最佳选择
内容提要
DigitalOcean推出缓存感知路由功能，通过模型亲和性和路由预算控制，避免切换模型导致缓存失效，从而降低token费用和延迟。该功能支持显式或隐式会话绑定，并提供分析面板监控缓存效率，帮助企业在token使用增长时保持成本稳定。
延伸解读
缓存感知路由的权衡逻辑
文章通过具体示例说明，切换模型可能使看似更便宜的模型反而更贵。例如，在90%缓存命中率下，继续使用Claude Sonnet 5的输入成本约为0.043美元，而切换到GLM-5.2需重新处理全部10万token，成本约0.07美元，是前者的1.6倍。这提醒开发者，在评估模型成本时，不能只看单价，还需考虑缓存命中带来的实际节省。
模型亲和性与路由预算的互补作用
DigitalOcean提供了两种机制：显式模型亲和性（通过X-Model-Affinity头）让应用控制会话绑定，适合已有会话管理的场景；路由预算（X-Routing-Max-Switch-Spend-Pct）则允许设置切换成本上限，在无需改代码的情况下自动权衡。两者结合，开发者可以灵活控制缓存利用与模型切换之间的平衡，既保留缓存优势，又不至于因过度绑定而错失更优模型。
缓存效率的监控与优化
文章提到，更新后的分析页面可查看缓存命中率、切换成本等指标，并支持按请求和token级别追踪趋势。这有助于开发者识别缓存回归、验证提示词调优效果，从而持续优化路由策略。对于依赖大量重复上下文的智能体应用，监控缓存效率是控制成本和延迟的关键手段。
Q&A
DigitalOcean推理路由器的缓存感知功能是什么？
缓存感知功能是DigitalOcean推理路由器的一项新特性，它能够识别并利用已有的提示缓存，避免在切换模型时丢失缓存，从而降低token费用和延迟。该功能通过模型亲和性和路由预算两种机制实现，帮助企业在token使用增长时保持成本稳定。
为什么在推理路由器中切换模型可能导致成本增加？
切换模型会丢弃当前模型上的热缓存，迫使新模型重新处理整个提示上下文，导致预填充成本增加。例如，一个90%缓存命中的请求，留在原模型可能花费约0.043美元，而切换到看似更便宜的模型可能花费0.07美元，成本反而增加约1.6倍。
X-Model-Affinity头是如何工作的？
X-Model-Affinity头允许应用程序通过传递一个会话或任务标识符，将多个请求绑定到同一个模型，从而保持缓存。第一个请求根据配置路由，后续具有相同标识符的请求将保持相同的模型绑定，重用缓存上下文。
路由预算（X-Routing-Max-Switch-Spend-Pct）的作用是什么？
路由预算允许开发者设置一个最大切换开销百分比，当路由器考虑切换模型时，会计算切换带来的额外成本，如果超过预算则保持当前模型。例如，设置为20%意味着切换的累计成本不能超过留在原模型成本的20%。
DigitalOcean推理路由器如何推断会话亲和性？
当没有显式亲和性标识符时，路由器会从请求上下文中推导一个稳定的会话键，包括系统指令、工具定义和第一条用户消息。如果这些内容不变，则视为同一会话，保持模型绑定；如果变化，则视为新会话，重新选择模型。
缓存感知路由如何帮助降低推理成本？
通过避免不必要的模型切换，保留热缓存，减少预填充的token数量，从而降低输入token费用和延迟。例如，Coinbase通过类似策略将缓存命中率从5%提升到60%，显著降低了成本。
DigitalOcean推理路由器的分析页面提供了哪些缓存效率指标？
分析页面提供了路由器级别的缓存命中率、缓存节省金额、切换次数等概览，并支持按模型和任务下钻，查看特定模型的缓存效率趋势，帮助识别热点和优化路由策略。
为什么说最便宜的模型并非总是最佳选择？
因为切换模型会丢失缓存，导致重新处理整个上下文，增加成本和延迟。即使目标模型单价更低，但考虑到缓存失效的代价，留在当前模型可能更经济。文章中的例子显示，切换模型可能使成本增加1.6倍。
