AI Gateway 允许用户根据成本、首次令牌时间（TTFT）或吞吐量（TPS）对模型提供者进行排序，以优化请求，选择最低成本或最低延迟的提供者。排序在请求时计算，并支持与其他路由选项结合使用，确保高效处理。

TTFT（首次令牌时间）是评估聊天机器人响应速度的重要指标，直接影响用户体验。它包括网络延迟、请求排队时间和模型处理时间。通过缓存、压缩提示和改进基础设施可以优化TTFT，从而提升用户满意度。

本文介绍了一种名为KV预测的新方法，旨在减少预训练模型生成第一个输出的时间（TTFT）。该方法通过小型辅助模型处理提示，生成基础模型所需的KV缓存近似值，从而提高效率和准确性。在TriviaQA和HumanEval任务中，准确性分别提高了15%-50%和30%。该方法在Apple M2 Pro CPU上也显示出TTFT加速效果。