KOALA：通过多层草稿头与对抗学习增强LLM的推测解码
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文提出了一种新颖的自我推测解码方案，旨在加速大型语言模型（LLMs）的推理过程。该方法通过草稿和验证两个阶段生成高质量输出，无需额外训练或内存占用。实验结果表明，该方案在效率上可实现最高1.73倍的加速，显著提升生成质量并节省计算资源。
🔎
延伸解读
无需额外训练与内存的加速方案
KOALA提出的自我推测解码方案无需额外的神经网络训练和内存占用，是一种即插即用的推理加速解决方案。这意味着用户可以直接在现有LLM上应用该方法，无需重新训练或增加硬件资源，降低了部署门槛和成本。
草稿与验证两阶段的工作机制
该方法通过草稿和验证两个阶段生成输出。草稿阶段以稍低质量但更快的速度生成草稿标记，通过在草稿期间选择性跳过某些中间层来实现；验证阶段则使用原始LLM在一次前向传递中验证这些草稿输出标记，确保最终输出与未经修改的LLM产生的输出完全相同，从而保持输出质量。
实验加速效果与质量保持
与LLaMA-2及其微调模型的基准测试表明，KOALA的加速比最高可达1.73倍。同时，由于验证阶段保证了输出与原始LLM一致，该方法在提升推理效率的同时并未牺牲生成质量，实现了效率与质量的平衡。
❓
Q&A
自我推测解码方案的主要目的是什么？
自我推测解码方案旨在加速大型语言模型（LLMs）的推理过程。
该方案是如何生成高质量输出的？
该方案通过草稿和验证两个阶段生成高质量输出，草稿阶段生成速度更快但质量稍低，验证阶段确保最终输出质量。
自我推测解码方案是否需要额外的训练？
该方案无需额外的神经网络训练和内存占用。
实验结果显示该方案的加速效果如何？
实验结果表明，该方案在效率上可实现最高1.73倍的加速。
自我推测解码方案对计算资源的影响是什么？
该方案显著提升生成质量并节省计算资源。
该方案的草稿阶段有什么特点？
草稿阶段以稍低质量但更快的速度生成草稿标记，通过选择性跳过某些中间层来实现。
🏷️
