MagicDec：通过投机解码突破长上下文生成的延迟-吞吐量权衡
内容提要
本文提出了一种新算法——分阶段投机性解码，旨在加速小批量大型语言模型（LLM）的推理。该方法通过重组投机性批量和引入第二阶段解码，在保持输出质量的同时，将解码延迟降低了3.16倍。研究还探讨了推测解码的定义、技术及未来方向，强调提高推理速度和GPU利用率的重要性。
延伸解读
分阶段投机解码的核心机制
文章提出的分阶段投机解码通过两个关键改进来加速小批量LLM推理：一是将投机性批量重新组织为树结构，这降低了生成成本并增加了每批预期的标记数；二是引入第二阶段的投机性解码。在762M参数的GPT-2-L模型上，该方法在完美保留输出质量的同时，将单批解码延迟降低了3.16倍。这些改进针对小批量推断中算术密度低的问题，旨在提升GPU硬件利用率。
推测解码的演进与多样化方案
文章梳理了推测解码的多条技术路线：自适应策略通过批处理和推测解码提高GPU利用率；SpecDec++将候选长度选择形式化为马尔可夫决策过程，自适应确定候选长度，在llama-2-chat模型上实现2.04至2.26倍加速；SmartSpec动态框架根据goodput度量确定最佳推测长度，降低平均请求延迟达3.2倍；结合离散扩散模型的方法并行化草拟和验证，速度提升最高8.7倍。这些方案从不同角度优化推理效率。
实际部署的考量与局限
文章提到，新方法在性能上能达到与固定长度推测解码方案相等或更好的水平，但未具体说明其在不同模型规模或硬件上的泛化能力。此外，Speculative Streaming通过将起草融入目标模型，在参数效率上表现突出，适用于资源受限设备。然而，这些方法大多需要额外的草稿模型或训练接受概率预测模块，可能增加部署复杂性和内存开销。读者需结合自身场景权衡加速收益与实现成本。
Q&A
分阶段投机性解码的主要目的是什么？
主要目的是加速小批量大型语言模型的推理，同时保持输出质量。
该算法如何降低解码延迟？
通过重组投机性批量为树结构和引入第二阶段解码，将解码延迟降低了3.16倍。
分阶段投机性解码对GPU利用率有什么影响？
该方法提高了GPU硬件利用率，能够达到与固定长度推测解码方案相等或更好的性能。
SpecDec++的作用是什么？
SpecDec++通过自适应确定候选长度，实现了2.04倍至2.26倍的加速。
SmartSpec动态框架的主要功能是什么？
SmartSpec动态框架根据goodput度量动态确定最佳推测长度，将平均请求延迟降低了多达3.2倍。
结合投机解码与离散扩散模型的效果如何？
这种结合显著加快了推理过程，速度提升最高可达8.7倍。
