利用 “楼梯” 辅助贪婪生成的大型语言模型推理加速
内容提要
本文提出了一种新算法——分阶段投机性解码，旨在加速小批量设备上的大型语言模型推断。通过重组投机性批量为树结构和引入第二阶段解码，显著降低了解码延迟，同时保持输出质量。研究分析了不同规模LLM在GPU上的推理性能及能源成本，为提升LLM的效率和应用提供了重要参考。
延伸解读
小批量推理的瓶颈与树结构优化
文章指出，小批量设备上的LLM推断面临低算术密度问题，即计算资源未被充分利用。分阶段投机性解码通过将投机性批量重组为树结构，降低了生成成本并增加了每批预期的标记数，从而缓解了这一问题。这种优化针对的是小批量场景，与大批量推理的优化策略不同，为设备端部署提供了新思路。
两阶段解码的延迟收益与质量保持
在树结构基础上，算法引入第二阶段的投机性解码，进一步降低延迟。实验使用762M参数的GPT-2-L模型，单批解码延迟降低了3.16倍，同时完美保留了输出质量。这表明两阶段设计在加速推理的同时未牺牲生成准确性，对于需要低延迟响应的应用具有实际意义。
推理性能与能源成本的基准分析
文章还分析了不同规模LLM在GPU上的推理性能及能源成本，涵盖NVIDIA V100和A100两代GPU，以及Alpaca和GSM8K两个数据集。这类基准测试有助于理解模型规模、硬件代际与任务类型对推理效率和能耗的影响，为实际部署中的硬件选型和成本评估提供参考。
Q&A
什么是分阶段投机性解码算法？
分阶段投机性解码是一种新算法，旨在加速小批量设备上的大型语言模型推断，通过重组投机性批量为树结构并引入第二阶段解码来降低解码延迟。
该算法如何降低解码延迟？
该算法通过将投机性批量重组为树结构和引入第二阶段解码，单批解码延迟降低了3.16倍，同时保持了输出质量。
研究中分析了哪些大型语言模型的性能？
研究分析了不同规模的LLM在NVIDIA V100和A100 GPU上的推理性能及能源成本，使用了Alpaca和GSM8K两个数据集。
分阶段投机性解码对输出质量有影响吗？
该算法在显著降低解码延迟的同时，完美地保留了输出质量。
该研究对大型语言模型的应用有什么启示？
研究为提升大型语言模型的效率和应用提供了重要参考，特别是在推断阶段的计算能力提升方面。
推断阶段有哪些方法被调查？
调查了基于令牌级别的生成算法、元生成算法和高效生成方法等多种推断方法。
