迈向快速多语言 LLM 推断：投机式解码和专业的起草机
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
本文提出了一种新颖的自我推测解码方案，旨在加速大型语言模型（LLMs）的推理。该方法分为草稿和验证两个阶段，确保输出质量与原始模型一致。实验结果显示，该方案在多个任务中实现了显著的速度提升和内存效率，最高加速比可达3.16倍，且无需额外训练。
❓
Q&A
自我推测解码方案的主要目的是什么？
自我推测解码方案旨在加速大型语言模型（LLMs）的推理过程。
该方案是如何确保输出质量的？
该方案通过草稿和验证两个阶段，确保最终输出与原始模型一致，从而保持输出质量。
自我推测解码方案的加速比最高是多少？
实验结果显示，该方案的最高加速比可达3.16倍。
该方案是否需要额外的训练？
该方案不需要额外的神经网络训练。
推测解码在内存速度提升方面的优势是什么？
推测解码在多个任务中实现了最高2.37倍的内存速度提升。
该方案如何解决小批量推断的低算术密度问题？
该方案通过将投机性批量重新组织为一棵树，降低生成成本并增加每批预期的标记数。
🏷️
