本文探讨语音智能体延迟指标，指出TTFT（首Token时间）仅是起点，真正影响体验的是TTFS（首句时间）。文章基准测试了LLM、STT、TTS及语音到语音各层，强调需结合TTFT和输出速度评估，并给出约700ms的LLM预算参考。关键建议包括同区域部署、限制推理努力、预留工具调用预算，以及关注p95尾部延迟而非仅p50。

AI Gateway 允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序，以优化请求，选择最低成本或最低延迟的提供者。排序在请求时计算，并支持与其他路由选项结合使用，确保高效处理。

TTFT（首次令牌时间）是评估聊天机器人响应速度的重要指标，直接影响用户体验。它包括网络延迟、请求排队时间和模型处理时间。通过缓存、压缩提示和改进基础设施可以优化TTFT，从而提升用户满意度。

本文介绍了一种名为KV预测的新方法，旨在减少预训练模型生成第一个输出的时间（TTFT）。该方法通过小型辅助模型处理提示，生成基础模型所需的KV缓存近似值，从而提高效率和准确性。在TriviaQA和HumanEval任务中，准确性分别提高了15%-50%和30%。该方法在Apple M2 Pro CPU上也显示出TTFT加速效果。