量子位
·
DeepSeek开源第三弹：V3/R1训练推理关键秘籍，核心代码仅300行
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
DeepSeek开源了DeepGEMM库，专注于高效FP8矩阵乘法，核心代码仅300行。在Hopper架构GPU上可达1350+TFLOPS性能，支持即时编译，简化使用，适用于深度学习的大规模模型训练，受到广泛关注。
🎯
关键要点
- DeepSeek开源了DeepGEMM库，专注于高效FP8矩阵乘法，核心代码仅300行。
- DeepGEMM在Hopper架构GPU上可达1350+TFLOPS性能，支持即时编译，简化使用。
- DeepGEMM支持密集和混合专家矩阵乘法，适用于深度学习的大规模模型训练。
- 该库设计轻量级，无复杂依赖关系，便于部署和使用。
- DeepGEMM采用CUDA编写，支持Hopper张量核心，解决FP8精度问题。
- 性能测试显示DeepGEMM计算性能最高可达1358 TFLOPS，内存带宽最高可达2668 GB/s。
- 使用DeepGEMM需支持Hopper架构GPU、Python 3.8及以上、CUDA 12.3及以上等依赖项。
- DeepGEMM提供多种优化方式，包括即时编译和细粒度缩放等。
❓
延伸问答
DeepGEMM库的主要功能是什么？
DeepGEMM库专注于高效的FP8矩阵乘法，支持密集和混合专家矩阵乘法运算。
DeepGEMM在Hopper架构GPU上的性能表现如何？
在Hopper架构GPU上，DeepGEMM的性能可达1350+ TFLOPS，内存带宽最高可达2668 GB/s。
使用DeepGEMM需要哪些依赖项？
使用DeepGEMM需要支持Hopper架构的GPU、Python 3.8及以上、CUDA 12.3及以上等依赖项。
DeepGEMM的核心代码有多少行？
DeepGEMM的核心代码仅约300行。
DeepGEMM如何解决FP8精度问题？
DeepGEMM采用CUDA核心的两级累积方法来解决FP8精度问题。
DeepGEMM支持哪些矩阵布局？
DeepGEMM支持密集矩阵布局和两种MoE布局，适应不同的应用场景。
➡️
