【大模型基础设施工程】02：GPU 计算入门——SM、Tensor Core、HBM、NVLink
💡
原文中文，约26300字，阅读约需63分钟。
📝
内容提要
本文探讨了GPU在大模型训练中的优势，特别是与CPU的对比。GPU通过大量弱核和简化控制实现高算力密度，适合处理大规模矩阵运算。分析了GPU的执行模型、内存层级及Tensor Core的演进，强调带宽与算力平衡对性能的影响，并提出了优化策略以提高GPU在解码阶段的利用率。
🎯
关键要点
-
GPU通过大量弱核和简化控制实现高算力密度，适合处理大规模矩阵运算。
-
GPU的执行模型为Grid/Block/Warp/Thread，支持高并行度的计算。
-
GPU的内存层级比CPU更陡峭，程序员需要显式管理内存。
-
Tensor Core的演进使得GPU的峰值算力显著提升，适用于小矩阵乘累加的计算。
-
GPU在解码阶段的算力利用率低，优化策略包括连续批处理和推测解码。
❓
延伸问答
GPU相比CPU在大模型训练中有哪些优势？
GPU通过大量弱核和简化控制实现高算力密度，适合处理大规模矩阵运算，尤其在并行计算方面表现优越。
什么是Tensor Core，它的演进对GPU性能有什么影响？
Tensor Core是专门用于小矩阵乘累加的硬件单元，其演进使GPU的峰值算力显著提升，适用于更复杂的计算任务。
GPU的内存层级与CPU有什么不同？
GPU的内存层级比CPU更陡峭，程序员需要显式管理内存，且GPU的带宽和延迟特性使得内存管理更加复杂。
如何优化GPU在解码阶段的算力利用率？
优化策略包括连续批处理和推测解码，以提高GPU在解码阶段的算力利用率。
GPU的执行模型是什么？
GPU的执行模型为Grid/Block/Warp/Thread，支持高并行度的计算，允许数百万个线程同时执行。
GPU的算力与带宽之间有什么关系？
GPU的性能上限受算力和带宽的共同影响，算术强度（AI）决定了性能的瓶颈。
➡️
