AI Gateway日志新增会话视图，将请求按会话分组并展示会话亲和性路由情况。每行显示运行会话的编码代理或应用（如Claude Code、Codex、Cursor）及其成本、模型、提供商和缓存命中率。会话亲和性默认对文本和聊天请求启用，将每轮请求发送至上一轮的提供商以提升缓存复用。可按轮次、客户端、模型、提供商等筛选会话，也可通过sessionId或x-session-id头手动分组。

本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级，因此设计围绕复用展开：单实例内通过块哈希实现前缀缓存；KV池采用write-back策略在GPU、DRAM、SSD间分层存储；集群层面用一致性哈希实现缓存亲和，并按请求类别分配预算以应对长请求突发。