克洛弗：基于连续知识的逐渐式轻量级猜测解码
内容提要
本文探讨了推测解码在大型语言模型（LLMs）中的应用，特别是LLaVA 7B模型。研究表明，推测解码显著提高了内存速度，并在图像字幕生成等任务中表现优异。提出的分阶段投机性解码算法优化了小批量推断的效率，降低了解码延迟，同时保持输出质量。此外，Sequoia算法通过动态规划和硬件感知优化，提升了多种模型的解码速度。
延伸解读
推测解码在LLaVA 7B上的实践
文章展示了在LLaVA 7B上应用推测解码，使用仅语言模型作为起草模型，无需图像令牌处理，在三个任务中实现了高达2.37倍的内存速度提升。这表明推测解码能有效加速多模态大模型，且紧凑的LLaVA起草模型在图像字幕生成上仅有边际增益，其他任务结果相当。
分阶段投机性解码优化小批量推断
针对小批量推断的低算术密度问题，文章提出分阶段投机性解码算法：将投机性批量重组为树以降低生成成本并增加每批预期标记数，并添加第二阶段投机性解码。在762M参数的GPT-2-L上，单批解码延迟降低了3.16倍，同时完美保留输出质量。
Sequoia算法的硬件感知优化
Sequoia算法通过动态规划寻找被推测标记的最佳树结构，采用采样和验证方法实现鲁棒推测性能，并自动选择硬件平台的标记树大小和深度。在A100上，Llama2-7B、Llama2-13B和Vicuna-33B的解码速度分别提升4.04倍、3.84倍和2.37倍，在L40上Llama2-70B的卸载速度提升10.33倍。
自适应推测解码与多候选验证
文章提到自适应推测解码策略通过批处理和推测解码技术提高GPU硬件利用率，性能与固定长度方案相当或更优。多候选验证算法从草稿模型采样多个候选分段并分批验证，在多个数据集和模型上显著提高接受率，优于标准猜测性解码。
Q&A
推测解码在大型语言模型中的作用是什么？
推测解码能够显著提高内存速度，并在图像字幕生成等任务中表现优异。
分阶段投机性解码算法的优势是什么？
该算法优化了小批量推断的效率，降低了解码延迟3.16倍，同时保持输出质量。
Sequoia算法如何提升解码速度？
Sequoia算法通过动态规划和硬件感知优化，提升了多种模型的解码速度，例如Llama2-7B的速度提高了4.04倍。
新的自适应推测解码策略有什么特点？
该策略通过批处理和推测解码技术提高GPU硬件利用率，性能优于固定长度推测解码方案。
推测解码在不同任务中的表现如何？
推测解码在三个不同任务中实现高达2.37倍的内存速度提升，表现出色。
多候选验证算法的优势是什么？
该算法在多个数据集和模型上展现出显著的接受率改进，优于标准的猜测性解码。
