【大模型基础设施工程】03：CUDA 生态——cuBLAS、cuDNN、NCCL、Triton、CUTLASS
💡
原文中文，约29300字，阅读约需70分钟。
📝
内容提要
本文探讨了NVIDIA的CUDA生态系统，包括编译链、高层工具、分层结构、数学库（如cuBLAS和cuDNN）、通信库（如NCCL）及Triton DSL。文章比较了AMD ROCm和华为CANN的定位，分析了CUDA在大模型训练中的重要性和优势，并强调了性能调优工具Nsight的使用，以及FP8训练的潜在问题和解决方案。
🎯
关键要点
-
大模型训练中，工程师通常不直接编写CUDA kernel，而是使用高层工具如PyTorch。
-
CUDA生态系统分为七层，包括编译链、运行时API、数学库、通信库、高层DSL和工具链。
-
cuBLAS和cuDNN是大模型计算的核心数学库，选择合适的库对性能至关重要。
-
NCCL是NVIDIA的集合通信库，提供高效的多GPU通信能力。
-
Triton是NVIDIA推出的Python DSL，旨在简化CUDA编程，适用于LLM时代的算子开发。
-
Nsight工具链用于性能分析，帮助工程师定位性能瓶颈。
-
FP8训练在性能和精度上具有优势，但也面临激活溢出和梯度下溢等问题。
-
AMD ROCm和华为CANN在生态系统和性能上与CUDA存在差距，短期内CUDA仍是主流选择。
❓
延伸问答
CUDA生态系统的主要组成部分有哪些？
CUDA生态系统主要由编译链、运行时API、数学库、通信库、高层DSL和工具链组成。
cuBLAS和cuDNN在大模型训练中有什么重要性？
cuBLAS和cuDNN是大模型计算的核心数学库，选择合适的库对性能至关重要。
Nsight工具链的主要功能是什么？
Nsight工具链用于性能分析，帮助工程师定位性能瓶颈。
FP8训练的优势和潜在问题是什么？
FP8训练在性能和精度上具有优势，但面临激活溢出和梯度下溢等问题。
NCCL在多GPU通信中起什么作用？
NCCL是NVIDIA的集合通信库，提供高效的多GPU通信能力。
Triton的主要功能是什么？
Triton是NVIDIA推出的Python DSL，旨在简化CUDA编程，适用于LLM时代的算子开发。
➡️
