本文介绍了一种名为KV预测的新方法，旨在减少预训练模型生成第一个输出的时间（TTFT）。该方法通过小型辅助模型处理提示，生成基础模型所需的KV缓存近似值，从而提高效率和准确性。在TriviaQA和HumanEval任务中，准确性分别提高了15%-50%和30%。该方法在Apple M2 Pro CPU上也显示出TTFT加速效果。