作者发现 DeepSeek 读图时图片每次请求重复上传，导致首字延迟随图片增多而膨胀，甚至达几分钟。由于 DeepSeek 未实现有状态 Responses API，作者改用 Files API：先上传图片获取 file id，再在请求体中引用，并开发了 pi-files-api 插件，替换上下文中的图片 base64 并维护 sha256 映射。但 AxonHub 尚不支持代理 Files API，只能本地配置 DeepSeek key，且切换上游后 file id 会失效。

作者将Qwen 3.8 27B模型调优至极限，对比124与104两组配置的端到端吞吐（均含TTFT），五项中位数全部由124领先，TTFT也明显改善，并称错过算力舱就错过全球最快Qwen 3.8 27B。

Agent时代长上下文推理导致KV Cache急剧膨胀，显存不足会清空缓存并触发重复Prefill，推高首Token延迟。英特尔提出以CPU管理分层存储与硬件压缩为核心的优化方案，包括KV Shrink、KV Fuse、KV Cascade和KV Infinity，并借助QAT加速压缩。测试表明该方案可显著降低TTFT、节省缓存空间，使GPU专注生成新Token。

本文探讨语音智能体延迟指标，指出TTFT（首Token时间）仅是起点，真正影响体验的是TTFS（首句时间）。文章基准测试了LLM、STT、TTS及语音到语音各层，强调需结合TTFT和输出速度评估，并给出约700ms的LLM预算参考。关键建议包括同区域部署、限制推理努力、预留工具调用预算，以及关注p95尾部延迟而非仅p50。

AI Gateway 允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序，以优化请求，选择最低成本或最低延迟的提供者。排序在请求时计算，并支持与其他路由选项结合使用，确保高效处理。

TTFT（首次令牌时间）是评估聊天机器人响应速度的重要指标，直接影响用户体验。它包括网络延迟、请求排队时间和模型处理时间。通过缓存、压缩提示和改进基础设施可以优化TTFT，从而提升用户满意度。

本文介绍了一种名为KV预测的新方法，旨在减少预训练模型生成第一个输出的时间（TTFT）。该方法通过小型辅助模型处理提示，生成基础模型所需的KV缓存近似值，从而提高效率和准确性。在TriviaQA和HumanEval任务中，准确性分别提高了15%-50%和30%。该方法在Apple M2 Pro CPU上也显示出TTFT加速效果。