协调的投机采样
内容提要
本文介绍了一种基于“假设采样”的算法，显著加速Transformer解码过程，提升速度2至8.7倍，同时保持生成质量。通过结合自回归抽样与新选择算法，提出了SpecDec++和早期退出推理等方法，优化了大型语言模型的推理效率。实验结果显示，这些方法在多个任务中均表现出色。
延伸解读
投机采样为何能加速解码
投机采样通过使用较小且更快的草稿模型生成候选令牌，再由目标大模型并行验证，从而减少推理延迟。文章指出，这种方法能在保持生成质量的同时，将Transformer解码加速2至2.5倍。其核心在于将串行的自回归生成转化为并行的草稿与验证，尤其适合对延迟敏感的大模型应用场景。
自适应候选长度：SpecDec++的优化思路
候选长度K是投机解码的关键超参数。文章将K的选择形式化为马尔可夫决策过程，并证明最优策略是阈值策略：当预测的被拒概率超过阈值时终止当前推测。基于此提出的SpecDec++，通过训练好的接受概率预测模块自适应确定K，在llama-2-chat模型上对Alpaca、GSM8K和HumanEval数据集实现了2.04倍至2.26倍的加速。
从串行到并行：扩散模型带来的新突破
传统草稿模型逐步生成令牌，效率受限。文章介绍了一种结合离散扩散模型的新方法，通过并行化草稿和验证步骤，在标准语言生成基准上实现了最高8.7倍的速度提升，比现有投机解码方法快2.5倍。这标志着投机解码从串行草拟向并行生成的演进，为推理加速开辟了新方向。
参数效率与资源受限场景的权衡
Speculative Streaming将起草融入目标模型，把微调目标改为未来n-gram预测，在总结、结构查询等任务中提升1.8-3.1倍解码速度且不损失质量。与Medusa-style架构相比，它使用的额外参数较少，更适合资源受限的设备。这表明投机解码的优化不仅追求速度，也需考虑参数效率和部署可行性。
Q&A
什么是基于假设采样的算法？
基于假设采样的算法是一种加速Transformer解码过程的技术，能够将解码速度提升2至2.5倍，同时保持样本质量和预测分布。
SpecDec++方法如何提高解码速度？
SpecDec++通过训练好的接受概率预测模块自适应地确定候选长度，实现了2.04倍至2.26倍的解码加速。
早期退出推理（EESD）有什么优势？
早期退出推理（EESD）通过在前N层后引入早期退出结构，提高初步令牌的质量，从而显著加速解码过程。
如何通过级联的投机式编码方法提高效率？
级联的投机式编码方法通过垂直和水平级联消除自回归生成，提高大型语言模型的效率，进一步提升72%的加速度。
Speculative Streaming方法的主要特点是什么？
Speculative Streaming是一种推测解码方法，通过将起草融入目标模型，提高解码速度1.8-3.1倍，同时保持生成质量。
离散扩散模型在推测解码中有什么作用？
离散扩散模型用于生成草稿序列，实现草拟和验证步骤的并行化，从而显著加快推理过程，速度提升可达8.7倍。
