内容提要
本文综述加速大语言模型推理的方法:先分析自回归生成慢的算法与硬件原因,并给出首字延迟、吞吐量等指标;随后介绍硬件加速、编译器优化、批量与持续批处理、低精度与量化、KV缓存、MQA/GQA、PagedAttention、投机性解码及阈值解码、语法引导生成、预见解码等技巧,并简述稀疏注意力和非Transformer架构趋势。
延伸解读
推理瓶颈:算法与硬件的双重制约
文章指出自回归生成慢有两个主因:算法上,每生成一个token都要重新处理整个前缀,导致计算量随序列长度二次增长;硬件上,模型权重无法全部放入缓存,大量时间花在从RAM加载权重上。这解释了为何处理10个token并不比1个慢太多——瓶颈在内存带宽而非计算。理解这一点,才能明白后续优化为何有效。
优化手段的权衡:没有免费的加速
文章强调不同优化影响不同指标。批量处理提高吞吐量和硬件利用率,但可能增加首字延迟和整体延迟;量化能缩小模型、提升速度,但可能损失质量,且GPU对低精度支持有限,转换有开销;投机性解码在草稿模型与主模型一致时加速明显,否则反而拖慢。选择优化需明确目标指标和可接受的质量损失。
KV缓存与注意力变体:管理内存增长
KV缓存避免重复计算,但缓存体积随生成长度增长,成为新瓶颈。MQA和GQA通过减少K/V头数缩小缓存,对困惑度影响较小,但需在训练时采用。PagedAttention借鉴操作系统分页,用块表管理KV缓存,支持非连续存储和前缀共享,减少内存浪费。这些技术对服务多用户的长上下文场景尤为重要。
结构化生成与解码技巧的适用边界
语法引导生成利用JSON等模式约束采样,能跳过大量确定性的token,既提速又提高可靠性,适合结构化数据输出。投机性解码和阈值解码则依赖上下文可预测性:在重复文本或常见短语上加速明显,但在随机或专业内容上可能无效甚至变慢。阈值解码通过动态调整草稿长度来缓解固定草稿的浪费。
Q&A
为什么大语言模型的自回归生成速度会随着生成长度增加而变慢?
主要原因有两个:算法上,每个循环都要处理更长的前缀(因为每次添加新Token),导致计算量累积增长;硬件上,模型权重很大,无法全部放入缓存,大量时间花在从RAM加载权重上,而且注意力机制是二次方复杂度(所有Token互相关注),进一步加剧了变慢。
评估大语言模型推理速度时常用的指标有哪些?
常用指标包括:首个Token响应时间(从输入到输出第一个Token的时间)、整体生成延迟(从输入到完成最终Token的时间)、吞吐量(系统能同时处理多少个独立生成任务)、硬件利用效率(对计算资源、内存带宽等的利用程度)。不同优化措施会影响这些指标,例如批量处理提高吞吐量但可能增加延迟。
KV缓存是如何加速大语言模型推理的?
KV缓存通过重用之前步骤中计算得到的键(K)和值(V)来避免重复计算。在自回归生成中,每次只输入一个新Token,模型将之前缓存的KV行与新Token的K、V行拼接,形成单行Q和多行K、V进行注意力计算,从而只需处理新Token,显著减少计算量。
投机性解码是什么?它如何提升生成速度?
投机性解码利用模型对多个Token的预测能力,先用一个快速的小型草稿模型生成多个候选Token,然后让大模型一次性验证这些候选。如果草稿正确,就能一次接受多个Token,从而减少大模型的调用次数,加速生成。但效果取决于草稿模型与目标模型的一致性以及文本的可预测性。
PagedAttention解决了KV缓存的哪些问题?
PagedAttention借鉴操作系统内存分页机制,解决了KV缓存需要连续存储、预分配过多空间、无法共享前缀等问题。它将KV缓存分成块,通过块表管理,允许块非连续存储,并支持多个请求共享相同前缀的KV块,从而减少内存浪费,提高内存利用效率。
量化是如何帮助加速大语言模型推理的?
量化通过降低模型权重的数据精度(如从fp32降到fp16、int8甚至更低)来减少模型大小和内存占用,从而减少从RAM加载权重的时间,提升推理速度。但过度量化可能影响模型性能,需要在速度和精度之间权衡。
语法引导生成如何既能提高可靠性又能加速推理?
语法引导生成通过约束采样器只从符合语法规则的Token中选择,确保输出符合特定格式(如JSON)。由于许多Token在给定语法和模式下是唯一确定的,采样器可以直接选择这些Token而无需模型前向计算,从而减少模型调用次数,加速生成,同时提高可靠性。