利用 Goodput 优化为大型语言模型提供服务的概念解码
内容提要
DISCO是一种动态调整推断长度的方法，能够提高推理速度和质量。研究提出了自适应推测解码策略和Speculative Streaming方法，显著提升了大型语言模型的解码效率。SpecDec++通过自适应候选长度实现了更快的推理，实验结果显示加速效果显著。
延伸解读
自适应推测解码：从固定到动态的演进
文章梳理了推测解码中候选长度从固定到动态的优化趋势。早期方案使用固定长度，而新方法如SpecDec++将候选长度选择形式化为马尔可夫决策过程，并证明最优策略是阈值策略。这种自适应调整能根据实时预测的被拒概率决定何时终止推测，从而在保证生成质量的同时提升加速比。
Speculative Streaming：单模型方案与参数效率
Speculative Streaming将起草过程融入目标模型，通过将微调目标改为未来n-gram预测，在多个任务中实现1.8-3.1倍解码加速且不损失质量。与Medusa-style架构相比，它使用的额外参数更少，更适合资源受限设备。这为在边缘设备部署大模型提供了新思路。
消费级GPU上的推理性能
文章提到SpecExec方法能在消费级GPU上以每秒4-6个令牌（4位量化）或每秒2-3个令牌（16位权重）的速度推理50多亿参数的大模型。这表明通过算法优化，大模型推理正逐步向普通硬件普及，但量化会带来精度与速度的权衡，读者需根据场景选择。
Q&A
DISCO 方法如何提高推理速度？
DISCO 方法通过动态调整推断长度，平均提高推理速度 10.3%。
Speculative Streaming 方法的优势是什么？
Speculative Streaming 方法提高解码速度 1.8-3.1 倍，同时不损失生成质量。
SpecDec++ 是如何实现更快推理的？
SpecDec++ 通过自适应候选长度实现更快的推理，实验显示加速效果为 2.04 倍至 2.26 倍。
自适应推测解码策略的主要优势是什么？
自适应推测解码策略提高了 GPU 硬件利用率，性能与固定长度推测解码方案相当或更好。
使用 SpecExec 方法进行推理的速度是多少？
使用 SpecExec 方法，推理速度可达每秒 4-6 个令牌（4 位量化）。
推测执行在大型语言模型中的应用有哪些挑战？
推测执行面临的挑战包括多样本推断速度提高中可变数量的 token 导致效率下降的问题。
