推测解码是一种加速大模型推理的方法，解决了显存带宽限制问题。通过一次性处理多个token，提升生成效率。经典算法如Medusa和EAGLE通过多头预测和特征自回归优化性能，而Lookahead解码则利用当前模型进行并行预测，无需额外模型。整体上，推测解码显著提高了解码速度和准确性，适用于多种场景。

Workers AI 正在构建支持超大语言模型的基础设施，通过硬件优化、预填解码分离、提示缓存和 KV 缓存优化等技术，提高了模型的处理速度和效率。新推出的推测解码技术加速了推理过程，Cloudflare 的专有推理引擎 Infire 进一步提升了多 GPU 支持和启动速度，确保模型高效运行。

Visual Studio Copilot 通过推测解码技术提升 AI 编辑功能，增强了建议的准确性，尽管引入了一定延迟，但用户更看重精确性。未来将致力于降低延迟，实现更快响应。

本研究提出了BanditSpec框架，解决了推测解码中前缀令牌配置固定的问题。通过将超参数选择视为多臂强盗问题，设计了两种算法，实验结果表明其在文本生成中优于现有方法，提高了语言模型的推理效率。

本研究提出了一种新算法，优化了状态空间模型在推测解码中的令牌树计算问题。该算法通过改进状态转移矩阵，提高了SSM与变压器层混合架构的推测解码效率，实验结果表明其在多个基准上优于传统方法。

本研究提出了一种新的推测解码方法，利用MXFP4模型作为草稿，显著提升了大语言模型的推理速度，最高可达2.72倍的性能提升，为加速推理提供了新思路。

本研究探讨了推测解码方法中标记重要性的假设，认为早期标记更为关键。通过Gumiho混合模型，结合复杂的Transformer和轻量级MLP头，显著提升了模型性能。

本研究提出了CORAL框架，解决了推测解码技术在训练与推理间的不一致性问题。通过跨步骤表示对齐，提升了多步训练的一致性，显著提高了推测草拟性能，并引入参数选择机制以减少解码延迟，实验证明其在效率和准确性上优于现有技术。

本研究提出了一种新颖的C2T方法，解决了推测解码在构建令牌树和验证候选令牌时的低效问题。该方法通过轻量级分类器动态生成和修剪令牌树，显著提高性能，减少候选令牌总数25%，同时保持或改善接受长度。

AdaServe是首个通过细粒度推测解码实现SLO定制化的大语言模型服务系统，实验结果显示其SLO达成率和有效吞吐量分别提高了73%和74%。

本文研究了在多语言环境中部署大语言模型时的推理时间限制，并提出了使用推测解码的助理模型的训练方法。通过有针对性的预训练和微调策略，优化了专门针对语言的草拟模型，显著减少了推理时间。验证了这些模型在推理时间、领域外优化和GPT-4o评估等方面的效果。