Gemma 4推出了多令牌预测（MTP）模型，采用专门的推测解码架构，实现了三倍的速度提升，同时保持输出质量不变。MTP通过将重型目标模型与轻型草拟模型配对，减少延迟，提升AI应用在本地和边缘设备上的性能。MTP草拟器现已开源，开发者可在Hugging Face等平台下载和实验。

推测解码是一种加速大模型推理的方法，解决了显存带宽限制问题。通过一次性处理多个token，提升生成效率。经典算法如Medusa和EAGLE通过多头预测和特征自回归优化性能，而Lookahead解码则利用当前模型进行并行预测，无需额外模型。整体上，推测解码显著提高了解码速度和准确性，适用于多种场景。

Workers AI 正在构建支持超大语言模型的基础设施，通过硬件优化、预填解码分离、提示缓存和 KV 缓存优化等技术，提高了模型的处理速度和效率。新推出的推测解码技术加速了推理过程，Cloudflare 的专有推理引擎 Infire 进一步提升了多 GPU 支持和启动速度，确保模型高效运行。

Visual Studio Copilot 通过推测解码技术提升 AI 编辑功能，增强了建议的准确性，尽管引入了一定延迟，但用户更看重精确性。未来将致力于降低延迟，实现更快响应。

本研究提出了BanditSpec框架，解决了推测解码中前缀令牌配置固定的问题。通过将超参数选择视为多臂强盗问题，设计了两种算法，实验结果表明其在文本生成中优于现有方法，提高了语言模型的推理效率。

本研究提出了一种新算法，优化了状态空间模型在推测解码中的令牌树计算问题。该算法通过改进状态转移矩阵，提高了SSM与变压器层混合架构的推测解码效率，实验结果表明其在多个基准上优于传统方法。

本研究提出了一种新的推测解码方法，利用MXFP4模型作为草稿，显著提升了大语言模型的推理速度，最高可达2.72倍的性能提升，为加速推理提供了新思路。

本研究探讨了推测解码方法中标记重要性的假设，认为早期标记更为关键。通过Gumiho混合模型，结合复杂的Transformer和轻量级MLP头，显著提升了模型性能。

本研究提出了CORAL框架，解决了推测解码技术在训练与推理间的不一致性问题。通过跨步骤表示对齐，提升了多步训练的一致性，显著提高了推测草拟性能，并引入参数选择机制以减少解码延迟，实验证明其在效率和准确性上优于现有技术。

本研究提出了一种新颖的C2T方法，解决了推测解码在构建令牌树和验证候选令牌时的低效问题。该方法通过轻量级分类器动态生成和修剪令牌树，显著提高性能，减少候选令牌总数25%，同时保持或改善接受长度。

AdaServe是首个通过细粒度推测解码实现SLO定制化的大语言模型服务系统，实验结果显示其SLO达成率和有效吞吐量分别提高了73%和74%。

本文提出了多种加速大型语言模型推理的方法，包括DistillSpec、Speculative Streaming和SmartSpec。这些方法通过知识蒸馏和推测解码显著提高了解码速度和效率，减少了推理延迟。实验结果表明，这些方法在多项任务中表现优异，提升了模型性能并降低了资源消耗。

本研究探讨在无通信情况下生成相同概率分布样本的问题。通过Weighted MinHash算法和Gumbel抽样，提出了一种草稿不变的推测解码方法，以确保在固定随机种子下输出一致。

本文探讨了推测解码在大型语言模型（LLMs）中的应用，特别是LLaVA 7B模型。研究表明，推测解码显著提高了内存速度，并在图像字幕生成等任务中表现优异。提出的分阶段投机性解码算法优化了小批量推断的效率，降低了解码延迟，同时保持输出质量。此外，Sequoia算法通过动态规划和硬件感知优化，提升了多种模型的解码速度。