生成遇见验证：智能并行自动校正解码加速大型语言模型推理
内容提要
提出自我推测解码加速大语言模型推理：草稿阶段跳过部分中间层快速生成候选标记，验证阶段用原模型一次前向验证，输出与原始模型完全一致，无需额外训练和内存，LLaMA-2上加速最高1.73倍。相关研究包括并行解码、多候选推测解码、G-SPEED、LLMA及分阶段推测解码等，均旨在提升生成速度并保持质量。
延伸解读
无需额外训练与内存的加速方案
自我推测解码是一种即插即用的推理加速方法，不需要额外的神经网络训练，也不增加内存占用。它通过草稿阶段跳过部分中间层快速生成候选标记，再经原模型一次前向验证，确保输出与原始模型完全一致。这种设计降低了部署门槛，适合资源受限的场景。
输出质量无损的保证
该方法在验证阶段使用原始LLM对草稿标记进行一次性验证，最终输出与未经修改的LLM产生的输出完全相同。这意味着加速不会以牺牲生成质量为代价，对于需要高准确性的应用尤为重要。
在LLaMA-2上的加速效果
基准测试表明，在LLaMA-2及其微调模型上，自我推测解码可实现最高1.73倍的加速比。这一提升在无需额外训练和内存的情况下取得，显示了该方法在真实推理场景中的实用潜力。
与相关推测解码研究的对比
文章提及了并行解码、多候选推测解码、G-SPEED、LLMA及分阶段推测解码等相关工作。与这些方法相比，自我推测解码强调无需辅助模型和额外训练，同时保持输出与原始模型一致，在简洁性和兼容性上具有特点。
Q&A
自我推测解码是什么？它如何加速大语言模型推理？
自我推测解码是一种无需辅助模型的推理加速方案，通过草稿和验证两阶段实现。草稿阶段选择性跳过某些中间层，快速生成草稿标记；验证阶段用原始LLM一次前向验证这些标记，确保输出与原始模型完全一致。
自我推测解码需要额外训练或内存吗？
不需要。该方法无需额外的神经网络训练和额外的内存占用，是一种即插即用且经济高效的推理加速解决方案。
自我推测解码在LLaMA-2上的加速效果如何？
在LLaMA-2及其微调模型上的基准测试表明，加速比最高可达1.73倍。
自我推测解码的输出质量会下降吗？
不会。验证阶段使用原始LLM在一次前向传递中验证草稿输出标记，确保最终输出与未经修改的LLM产生的输出完全相同，从而保持输出质量。
自我推测解码与猜测性解码有什么区别？
猜测性解码通常需要快速的草稿模型生成候选分段，再由目标模型并行验证，但接受率受多种因素限制。自我推测解码无需辅助模型，而是通过跳过中间层生成草稿，且输出与原始模型完全一致。
自我推测解码的草稿阶段具体是如何工作的？
草稿阶段以稍低质量但更快的速度生成草稿标记，通过在草稿期间选择性跳过某些中间层来实现。
