语言大模型的浮点运算分配
内容提要
本文通过实证分析展示了实际LLM模型的FLOPS分配情况,并与理论分析进行对比,为理解和优化语言大模型的性能提供了有益见解。
延伸解读
理论FLOPS分配与实证的差异
理论分析显示,标准解码器模型中,前馈神经网络(FFN)占66%的FLOPS,注意力机制占33%。但实证分析中,注意力层占前向传播时间的40%,MLP占53%,与理论基本一致但略有偏差。作者推测MLP可能因Torch优化而效率更高,导致实际时间占比略低。这表明理论模型虽能指导优化,但实际性能还受实现和硬件影响。
KV缓存的内存开销与优化
KV缓存的内存需求随生成词元数线性增长。以GPT-3为例,生成2048个词元需5.6GB内存。但实际中,每次前向传播后缓存可丢弃,因此并不需要额外内存。Mistral 7B采用分组查询注意力和滑动窗口注意力,有效减少了KV缓存大小。实证中,Llama2模型每20个词元增加约2.1MB内存,比理论值多出3倍,作者认为可能是执行效率不足所致。
模型宽度与深度对性能的影响
增加模型层数会线性扩展FLOPS和参数数量,而增加宽度会导致参数数量平方增长。实证显示,Llama2模型宽度变化对速度影响有限,但深度增加会导致推理时间线性增长。作者指出,更宽的模型更易并行化,适合降低时延;而更深的模型则受限于顺序计算,难以充分利用GPU并行能力。因此,架构选择需权衡并行性与计算效率。
Q&A
标准解码器模型在每层中FLOPS是如何分配的?
标准解码器模型每层FLOPS分配为:计算QKV占25%,注意力输出矩阵占8%,前馈神经网络占66%。
为什么注意力机制的计算量很小却非常重要?
注意力机制的计算量虽然很小(例如在Llama7b中仅占0.005%),但它非常重要,因为我们需要使用KV缓存和flash attention等技术来提高效率,这些技术正是为了处理注意力机制而设计的。
KV缓存的内存需求有多大?以GPT-3为例说明。
KV缓存的内存需求为O(T),其中T是生成的词元数。以GPT-3为例,它有96层,d_model为12288,每个词元需要4.72MB内存,因此生成2048个词元需要5.6GB内存。
Mistral 7B模型在注意力机制上做了哪些优化?
Mistral 7B采用了分组查询注意力(GQA)和滑动窗口注意力。GQA通过共享KV投影减少KV缓存大小,滑动窗口注意力将KV缓存限制在窗口大小(如4096),从而优化内存使用。
增加模型层数和宽度对FLOPS和参数数量有什么影响?
增加模型层数会线性扩展FLOPS和参数数量;增加模型宽度会导致参数数量呈平方增长,因为参数数量与d_model的平方成正比。
实证分析中,前向传播的时间在注意力机制和多层感知机之间是如何分配的?
实证分析显示,前向传播中约40%的时间用于注意力层,53%用于MLP,与理论预测的1/3和2/3基本一致。
生成更多词元的成本如何变化?KV缓存的内存占用是否与预期一致?
生成更多词元的成本呈线性增长,因为使用了KV缓存。KV缓存的内存占用与预期基本一致,但存在额外的开销,例如每20个词元增加约2.1MB内存,而理论值仅为32KB每词元。
SiliconLLM是什么?它有什么优势?
SiliconLLM是一个高效的LLM推理加速引擎,旨在降低大模型部署成本,提升推理性能。它最高可提升吞吐近4倍,降低时延近4倍,在特定场景下吞吐提升可达11倍。