做LLM推理时，常见的显卡如何选择？ - 蝈蝈俊
内容提要
随着开源LLM的成熟，业务接入LLM推理需考虑显卡和模型大小。选显卡需看VRAM容量和CUDA核心数，推荐12GB起。模型大小需根据需求选硬件，如20B适用于低规格设备，400B适合数据中心级硬件。模型优化技术可降低资源需求。
延伸解读
显存容量是模型加载的关键
文章指出，VRAM容量直接决定能加载的模型大小，至少12GB是推荐起点，更大模型需24GB或更多。这意味着选择显卡时，显存应作为首要考量，而非仅看CUDA核心数。对于计划部署LLM的业务，需根据目标模型参数估算显存需求，避免因显存不足导致无法运行。
CUDA核心数并非唯一性能指标
虽然CUDA核心数越多并行运算能力越强，但文章以Tesla A100与RTX 4090对比说明，A100的CUDA核心数较少，却因更大的内存带宽、专为AI优化的张量核心及虚拟化能力，在大规模并行处理中更具优势。因此，评估显卡时需综合考虑架构特性，而非单纯比较核心数量。
模型大小与硬件匹配需权衡
文章列出不同参数模型对应的硬件需求：2B模型可在低规格设备运行，7B需8-10GB显存的消费级GPU，70B需24GB以上高端GPU，400B则需多GPU或数据中心级硬件。业务应根据实际场景选择模型规模，避免过度配置或性能不足，同时关注模型优化技术对资源需求的降低作用。
Q&A
选择LLM推理显卡时，应该关注哪些关键指标？
选择显卡时应关注VRAM容量和CUDA核心数，推荐至少12GB VRAM。
Tesla A100显卡的优势是什么？
Tesla A100在大数据运算中具有更高的效率和吞吐量，适合大规模并行处理。
不同大小的LLM模型对显卡的需求是什么？
2B模型适合低规格设备，7B模型需消费级GPU，70B模型需高端GPU，400B模型需数据中心级硬件。
如何优化大型LLM模型以降低资源需求？
可以通过模型压缩和高效的推理框架来降低大型模型的资源需求。
推荐的显卡配置有哪些？
常见显卡包括GTX 16、RTX 20、RTX 30、RTX 40、Tesla A100和H100，配置和价位各异。
CUDA核心数对GPU性能有什么影响？
CUDA核心数越多，GPU在执行并行运算时的能力越强，有助于提高处理大型神经网络的速度。
