量子位
·
DeepSeek开源第三弹：V3/R1训练推理关键秘籍，核心代码仅300行
💡
原文中文，约3100字，阅读约需8分钟。
📝
内容提要
DeepSeek开源了DeepGEMM库，专注于高效FP8矩阵乘法，核心代码仅300行。在Hopper架构GPU上可达1350+TFLOPS性能，支持即时编译，简化使用，适用于深度学习的大规模模型训练，受到广泛关注。
🎯
关键要点
- DeepSeek开源了DeepGEMM库，专注于高效FP8矩阵乘法，核心代码仅300行。
- DeepGEMM在Hopper架构GPU上可达1350+TFLOPS性能，支持即时编译，简化使用。
- DeepGEMM支持密集和混合专家矩阵乘法，适用于深度学习的大规模模型训练。
- 该库设计轻量级，无复杂依赖关系，便于部署和使用。
- DeepGEMM采用CUDA编写，支持Hopper张量核心，解决FP8精度问题。
- 性能测试显示DeepGEMM计算性能最高可达1358 TFLOPS，内存带宽最高可达2668 GB/s。
- 使用DeepGEMM需支持Hopper架构GPU、Python 3.8及以上、CUDA 12.3及以上等依赖项。
- DeepGEMM提供多种优化方式，包括即时编译和细粒度缩放等。
➡️
