SEED: 通过计划的推测解码加速推理树构建
内容提要
本文介绍了多种加速大型语言模型（LLM）推理的算法，包括递归推测解码、分阶段投机性解码和SpecInfer等。这些方法通过优化树结构、动态规划和并行处理，提高了解码速度和效率，同时保持模型的准确性。研究表明，这些技术在不同模型上实现了显著的加速效果。
延伸解读
推测解码的树结构优化趋势
文章指出，递归推测解码、分阶段投机性解码和Sequoia等算法均通过将推测批量重组为树结构来提升效率。这种设计降低了生成成本，增加了每批预期标记数，从而在保持输出质量的同时加速解码。树结构优化已成为推测解码领域的重要方向，但不同算法在树构建和验证策略上各有侧重。
硬件感知与动态规划的结合
Sequoia算法引入动态规划寻找最佳树结构，并自动选择硬件平台的树大小和深度，在A100上对Llama2-7B、13B和Vicuna-33B分别实现4.04倍、3.84倍和2.37倍的解码加速，在L40上对Llama2-70B的卸载速度提升10.33倍。这表明硬件感知优化能显著释放推测解码的潜力，但效果因模型和硬件而异。
草稿令牌准确性的提升策略
SDSAT方案通过细调模型和新的生成策略，在不影响准确性的前提下提高草稿令牌的准确性，在CodeLlama-13B和7B上分别获得超过3.5倍和3.0倍的加速。这提示草稿质量是推测解码的关键瓶颈，改进草稿生成可带来显著收益，但需针对特定模型进行调优。
系统级优化与端到端延迟
SpecInfer使用多个小型语言模型共同预测输出，并通过基于树的并行解码机制验证候选序列，以LLM作为令牌树验证器而非增量解码器，显著降低了端到端延迟和计算要求，同时保持模型质量。这表明系统级设计能进一步放大推测解码的效益，但多模型协同可能增加部署复杂度。
Q&A
递归推测解码的主要优势是什么？
递归推测解码通过利用树结构加速大型语言模型的推理，取得了优越的性能，尤其是在固定草稿序列长度和计算预算下。
分阶段投机性解码是如何提高解码效率的？
分阶段投机性解码通过重组投机性批量为树结构，降低生成成本并增加每批预期的标记数，从而提高了解码效率。
SPEED算法如何减少推理延迟？
SPEED算法通过并行执行当前和多个未来令牌，提高推理效率，减少延迟，同时保持模型的准确性。
Sequoia算法在解码速度上有何显著提升？
Sequoia算法通过动态规划和硬件感知优化，显著提高了多个模型的解码速度，例如Llama2-7B的解码速度提高了4.04倍。
SDSAT方案如何提高生成草稿令牌的准确性？
SDSAT方案通过细调模型和新的生成策略，提高了生成草稿令牌的准确性，同时实现了加速效果。
SpecInfer系统的主要功能是什么？
SpecInfer系统使用预测推断和令牌树验证来加速生成式大型语言模型的推断，显著降低了端到端延迟和计算要求。
