Chip Huyen在P99大会上指出，模型训练是一次性成本，推理成本则反复发生，比例可达1:10至1:100。她建议关注首token延迟和goodput等指标，并从模型与服务两方面优化：量化、蒸馏、批处理、预填充解码分离、并行及提示缓存。提示缓存命中率可达90%以上，显著降低成本。评估推理服务时，除成本和延迟外，还须关注模型质量。

本文探讨语音智能体延迟指标，指出TTFT（首Token时间）仅是起点，真正影响体验的是TTFS（首句时间）。文章基准测试了LLM、STT、TTS及语音到语音各层，强调需结合TTFT和输出速度评估，并给出约700ms的LLM预算参考。关键建议包括同区域部署、限制推理努力、预留工具调用预算，以及关注p95尾部延迟而非仅p50。