Sequoia：可伸缩、稳健且硬件感知的推测解码
内容提要
本文提出分阶段投机性解码算法，将投机批量重组为树并加入第二阶段解码，以加速小批量设备端LLM推断。在762M参数GPT-2-L上，解码延迟降低3.16倍且不损输出质量。文章还综述了SpecInfer、Medusa、Speculative Streaming等投机解码进展，这些方法通过预测推断、令牌树验证或多解码头并行预测实现2至3.6倍加速。
延伸解读
分阶段投机解码的核心改进
文章提出的分阶段投机解码通过两个关键改进来加速小批量设备端LLM推断：一是将投机批量重新组织为树结构，降低生成成本并增加每批预期标记数；二是增加第二阶段的投机解码。在762M参数的GPT-2-L模型上，该方法将单批解码延迟降低3.16倍，且不损失输出质量。这表明在资源受限的设备上，通过算法优化可以有效提升推理效率。
与其他投机解码方法的对比
文章综述了多种投机解码进展，如SpecInfer使用预测推断和令牌树验证，Medusa通过额外解码头并行预测，Speculative Streaming将起草融入目标模型。这些方法在不同模型和任务上实现了2至3.6倍的加速。分阶段投机解码专注于小批量设备端场景，通过树重组和两阶段解码达到3.16倍加速，与其他方法相比，其特点在于针对低算术密度问题的优化。
实际应用中的考量
投机解码方法能在不损失输出质量的前提下加速LLM推理，但不同方法适用于不同场景。例如，Speculative Streaming参数效率高，适合资源受限设备；Medusa通过多解码头实现更高加速比。分阶段投机解码在762M参数模型上验证了有效性，但实际部署时需考虑模型规模、硬件条件和任务类型，以选择最合适的加速策略。
Q&A
Sequoia 提出的分阶段投机性解码算法主要解决了什么问题？
Sequoia 旨在加速小批量、设备上的 LLM 推断，解决小批量推断中算术密度低的问题。
Sequoia 算法通过哪些具体技术来提升解码速度？
Sequoia 将投机性批量重新组织为一棵树，以降低生成成本并增加每批预期的标记数；同时添加了第二阶段的投机性解码。
Sequoia 在实验中取得了怎样的加速效果？
在 762M 参数的 GPT-2-L 模型上，Sequoia 将单批解码延迟降低了 3.16 倍，且不损失输出质量。
SpecInfer 是如何加速 LLM 推断的？
SpecInfer 使用多个小型语言模型共同预测 LLM 的输出，并采用基于树的并行解码机制验证所有候选令牌序列的正确性，从而降低端到端延迟和计算要求。
Medusa 方法通过什么方式提高 LLM 推理效率？
Medusa 通过增加额外的解码头来并行预测多个后续标记，减少解码步骤。Medusa-1 可实现超过 2.2 倍的加速，Medusa-2 可达 2.3-3.6 倍。
Speculative Streaming 有什么特点？
Speculative Streaming 是一种单一模型的推测解码方法，将起草融入目标模型，通过未来 n-gram 预测目标提高解码速度 1.8-3.1 倍，且参数效率高，适用于资源受限设备。
