安志合的学习博客
·
大模型GPU显存算力需求计算
💡
原文中文，约3900字，阅读约需10分钟。
📝
内容提要
大语言模型在GPU上运行时的显存占用主要包括模型参数、梯度、优化器状态、激活值和KV缓存。以7B模型为例，推理时显存需求约为18.8GB，训练时可达114GB。显存需求受参数量、精度、批量大小和序列长度影响。可通过量化和高效微调等技术降低显存占用。
🎯
关键要点
- 大语言模型在GPU上运行时的显存占用主要包括模型参数、梯度、优化器状态、激活值和KV缓存。
- 以7B模型为例，推理时显存需求约为18.8GB，训练时可达114GB。
- 显存需求受参数量、精度、批量大小和序列长度影响。
- 通过量化和高效微调等技术可以降低显存占用。
- 模型参数显存计算公式为：参数量 x 参数精度，常用精度有FP32、FP16和BF16。
- KV缓存用于加速推理效率，其显存需求与批量大小、序列长度、并发度和模型架构相关。
- 训练时显存需求包括模型参数、梯度、优化器状态和激活值，通常显存需求更高。
- 量化技术和参数高效微调可以显著减少显存占用，INT8量化可减少50%，LoRA微调可降低60-70%。
❓
延伸问答
大语言模型在GPU上运行时显存占用的主要组成部分是什么？
主要包括模型参数、梯度、优化器状态、激活值和KV缓存。
以7B模型为例，推理和训练时的显存需求分别是多少？
推理时约为18.8GB，训练时可达114GB。
显存需求受哪些因素影响？
受参数量、精度、批量大小和序列长度影响。
如何通过技术手段降低显存占用？
可以通过量化和高效微调等技术降低显存占用。
KV缓存的显存需求与哪些因素相关？
与批量大小、序列长度、并发度和模型架构相关。
在推理场景中，显存需求的计算公式是什么？
总显存 ≈ 模型参数 + KV Cache + 激活值 + 其他开销。
➡️
