提出自我推测解码加速大语言模型推理:草稿阶段跳过部分中间层快速生成候选标记,验证阶段用原模型一次前向验证,输出与原始模型完全一致,无需额外训练和内存,LLaMA-2上加速最高1.73倍。相关研究包括并行解码、多候选推测解码、G-SPEED、LLMA及分阶段推测解码等,均旨在提升生成速度并保持质量。
完成下面两步后,将自动完成登录并继续当前操作。