.png)
The DigitalOcean Blog
·
优化用于推理的DigitalOcean Gradient™ AI GPU Droplets：在降低成本的同时提高吞吐量
内容提要
为了实现生产级LLM推理，我们优化了整个服务堆栈，构建了高效的推理镜像。测试显示，使用2个H100 GPU时，吞吐量提高了143%，每百万个token的成本降低了75%。这种优化使得在更少的GPU上实现高效推理成为可能。
关键要点
-
生产级LLM推理需要对整个服务堆栈进行深度优化。
-
使用2个H100 GPU时，吞吐量提高了143%，每百万个token的成本降低了75%。
-
构建了推理优化镜像，集成了多种优化技术。
-
推理过程分为预填充阶段和解码阶段，分别针对计算和内存带宽瓶颈进行优化。
-
推测解码通过并行生成多个候选token来提高吞吐量。
-
FP8量化将模型内存占用减半，并加速计算。
-
FlashAttention-3和分页注意力优化了内存利用率和计算效率。
-
并发优化允许在同一硬件上并行运行多个模型实例，提高了硬件利用率。
-
提示缓存技术减少了重复计算，提高了响应速度和成本效率。
-
优化镜像在不同并发级别下均表现出显著的吞吐量和成本优势。
-
FP8量化和推测解码使得在2个GPU上运行70B模型成为可能。
-
优化镜像支持多种GPU架构，降低了生产推理的门槛。
-
优化不仅依赖于单一技术，而是多种技术的复合效应。
-
预优化镜像使得团队能够快速部署高性能推理，而无需深入的GPU系统工程知识。
延伸问答
如何优化LLM推理以降低成本和提高吞吐量？
通过构建推理优化镜像，集成多种优化技术，如FP8量化、FlashAttention-3和并发优化，显著提高吞吐量并降低成本。
使用2个H100 GPU时，吞吐量和成本的变化如何？
使用2个H100 GPU时，吞吐量提高了143%，每百万个token的成本降低了75%。
推理过程的预填充阶段和解码阶段有什么不同？
预填充阶段计算密集，主要处理输入提示；解码阶段则是内存带宽限制，逐个生成token。
什么是提示缓存技术，它如何提高推理效率？
提示缓存技术通过存储和重用已计算的KV缓存条目，减少重复计算，提高响应速度和成本效率。
FP8量化对模型性能有什么影响？
FP8量化将模型内存占用减半，并加速计算，使得在更少的GPU上运行更高效。
并发优化如何提高硬件利用率？
并发优化允许在同一硬件上并行运行多个模型实例，从而提高了硬件的利用率。
