本文讨论了推测解码在大语言模型推理中的应用，旨在加速请求而不影响输出。通过使用小型草稿模型生成多个候选令牌，主模型可以快速验证这些候选，从而提高生成速度。不同变体如EAGLE-3和SuffixDecoding针对不同限制进行了优化，显著提升了速度。推测解码与语义缓存相辅相成，有效降低请求延迟。选择合适的技术与工作负载匹配是实现最佳性能的关键。