SpecExec: 消费设备上基于大规模并行推测解码的交互式 LLM 推理
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文提出了一种新算法——分阶段投机性解码，旨在加速小批量设备上的大型语言模型推断。该方法通过重组投机性批量为树结构并引入第二阶段解码，在保持输出质量的同时，将解码延迟降低了3.16倍。此外，研究探讨了推测执行在大型语言模型中的应用及未来发展方向。
🔎
延伸解读
小批量设备推理的挑战与创新
文章指出，小批量、设备上的LLM推断面临低算术密度问题，导致计算效率低下。分阶段投机性解码通过将投机性批量重组为树结构，降低了生成成本并增加了每批预期的标记数，从而有效应对这一挑战。
两阶段投机解码的协同效应
该方法引入第二阶段的投机性解码，与树结构重组相结合，在完美保留输出质量的同时，将单批解码延迟降低了3.16倍。这种两阶段设计在保持模型准确性的前提下，显著提升了推理速度。
无需重训练与架构更改的加速
文章强调，提出的算法支持现有模型的加速，无需重新训练或架构更改，即可实现2-3倍的加速。这降低了部署门槛，使现有LLM能更高效地运行在资源受限的设备上。
推测执行在LLM中的演进与未来
文章综述了推测执行在大型语言模型中的应用，包括SpecInfer、SPEED、Speculative Streaming等系统，这些工作通过预测推断、令牌树验证或单一模型集成等方式提升解码速度。同时，文章指出了关键挑战和未来发展方向，为后续研究提供了参考。
❓
Q&A
分阶段投机性解码算法的主要目的是什么？
该算法旨在加速小批量设备上的大型语言模型推断。
分阶段投机性解码如何降低解码延迟？
通过重组投机性批量为树结构并引入第二阶段解码，解码延迟降低了3.16倍。
SpecInfer系统的功能是什么？
SpecInfer系统使用预测推断和令牌树验证来加速生成式大型语言模型推断，降低端到端延迟和计算要求。
该算法对现有模型的影响是什么？
该算法支持现有模型的加速，无需重新训练或架构更改，能够实现2-3倍的加速。
推测执行在大型语言模型中的应用有哪些？
推测执行用于提升解码速度，并探讨了关键挑战和未来发展方向。
分阶段投机性解码的创新点是什么？
创新点在于将投机性批量重组为树结构，并引入第二阶段解码以提高效率。
🏷️
