Hydra: 针对 Medusa 解码的顺序依赖性起草头部
内容提要
该文综述多种大语言模型推理加速方法，包括Medusa（通过额外解码头并行预测多标记，提速2.2至3.6倍）、级联投机解码、多候选验证、HydraSum多解码器、分块并行解码、自推测解码及Hydragen共享前缀注意力等，分别从草稿模型、并行验证和注意力计算等角度减少解码步骤，提升吞吐量。
延伸解读
Medusa 的加速原理与效果
Medusa 通过增加额外的解码头来并行预测多个后续标记，从而减少解码步骤。论文显示，Medusa-1 能在不损害生成质量的情况下实现超过 2.2 倍的加速，而 Medusa-2 进一步将加速比提升至 2.3-3.6 倍。这种方法的核心在于利用额外的解码头同时预测多个标记，并通过精细调整满足不同用例需求。
投机解码的演进与优化
投机解码通过草稿模型生成候选标记，再由目标模型并行验证来加速推理。后续研究提出了级联投机式编码、多候选验证等方法，以提升接受率和效率。例如，级联方法通过垂直和水平级联进一步提高了 72% 的加速度；多候选验证则通过采样多个候选分段并批量验证，显著改进了接受率。
无需辅助模型的自我推测解码
自我推测解码是一种无需辅助模型的推理加速方案。它通过两阶段过程：草稿阶段选择性跳过某些中间层以快速生成草稿标记，验证阶段则用原始 LLM 一次前向传递验证这些标记，确保输出与未经修改的 LLM 完全一致。这种方法无需额外训练和内存，是一种即插即用的经济高效方案，在 LLaMA-2 上实现了最高 1.73 倍的加速。
注意力计算优化与长上下文处理
针对长上下文场景，Hydragen 提出了一种硬件感知的精确注意力实现，对共享前缀和唯一后缀分别计算注意力，从而将端到端吞吐量提升最多 32 倍，并能处理非常长的共享上下文。此外，多查询注意力机制通过降低增量解码的内存需求，在仅导致较小质量损失的情况下加快了解码速度。
Q&A
Medusa 方法是如何加速大语言模型推理的？
Medusa 通过增加额外的解码头来预测并行的多个后续标记，从而减少解码步骤，提高推理效率。经过两个级别的精细调整，Medusa-1 可实现超过 2.2 倍的加速且不损害生成质量，Medusa-2 进一步达到 2.3-3.6 倍加速。
级联投机解码是如何提升大语言模型效率的？
级联投机解码通过引入垂直级联和水平级联来消除自回归生成，并提高草拟中的时间分配效率，从而在原有基础上进一步提升 72% 的加速。
多候选验证方法如何提高猜测性解码的接受率？
多候选验证方法从草稿模型中采样多个候选分段，并将它们分批进行验证，同时设计高效的多候选验证算法以保持目标模型的分布。该方法在多个数据集和模型上显著提高了接受率，始终优于标准的猜测性解码。
自我推测解码如何在不使用辅助模型的情况下加速 LLM？
自我推测解码通过两个阶段实现：草稿阶段以稍低质量但更快的速度生成草稿标记，通过选择性跳过某些中间层实现；验证阶段使用原始 LLM 在一次前向传递中验证草稿输出。该方法无需额外训练和内存，确保输出与原始 LLM 完全相同，在 LLaMA-2 上最高加速 1.73 倍。
Hydragen 如何优化注意力计算以提高吞吐量？
Hydragen 是一种有硬件感知的精确注意力实现，它对共享前缀和唯一后缀分别计算注意力。该方法可以提高最多 32 倍的端到端语言模型吞吐量，并能使用非常长的共享上下文。
HydraSum 是什么？它有什么特点？
HydraSum 是一种新的总结架构，通过多个解码器自动学习不同样式的摘要，并提供一种简单机制以获得样式多样的摘要。训练期间的小改动可以实现对生成空间多个维度的变化。
