推测解码通过草稿模型生成候选词元、目标模型并行验证，在不改变输出分布的前提下加速大语言模型推理。相关方法包括多候选分段采样与批量验证、无需辅助模型的自推测解码、将起草融入目标模型的Speculative Streaming、级联投机编码及Hydra heads等，在多个模型和任务上实现1.7至3.1倍加速，并保持生成质量。

提出自我推测解码加速大语言模型推理：草稿阶段跳过部分中间层快速生成候选标记，验证阶段用原模型一次前向验证，输出与原始模型完全一致，无需额外训练和内存，LLaMA-2上加速最高1.73倍。相关研究包括并行解码、多候选推测解码、G-SPEED、LLMA及分阶段推测解码等，均旨在提升生成速度并保持质量。

该文综述多项加速大语言模型推理的研究：SoT先生成答案骨架再并行填充，提速2.39倍；DaSLaM将复杂问题分解为子问题；Dyn-STGCD联合生成翻译与句法图；SGCD用辅助模型引导黑盒模型解码；FGD近似softmax加速选词；推测性对比解码提升质量并省算力；SDSQL基于模式依赖提升Text-to-SQL性能；并总结推测解码的定义与挑战。