量子位
·
无需CUDA代码给H100加速33%-50%，Flash Attention作者新作火了
💡
原文中文，约7800字，阅读约需19分钟。
📝
内容提要
Tri Dao及其团队推出了QuACK内核库，完全用Python编写，利用CuTe-DSL，无需CUDA代码，在H100上实现33%-50%的加速，专注于内存密集型内核优化，提升GPU性能，受到业界关注。
🎯
关键要点
-
Tri Dao及其团队推出了QuACK内核库，完全用Python编写，利用CuTe-DSL，无需CUDA代码。
-
QuACK在H100上实现了33%-50%的加速，专注于内存密集型内核优化。
-
内存密集型内核的优化主要依赖于现代加速器的线程和内存层级结构。
-
作者提供了具体的优化建议，强调了内存合并和硬件感知的归约策略。
-
QuACK的实现方案在归约维度≥65k时显著优于其他基准方案。
-
集群归约允许多个SM协同工作，提升了处理能力，避免了寄存器溢出。
-
作者认为高效的GPU内核开发流程可以自动化，未来可能通过大语言模型生成优化的GPU内核。
❓
延伸问答
QuACK内核库的主要特点是什么？
QuACK内核库完全用Python编写，利用CuTe-DSL，无需CUDA代码，专注于内存密集型内核优化。
QuACK在H100上的加速效果如何？
QuACK在H100上实现了33%-50%的加速，优于其他深度优化库。
内存密集型内核优化的关键因素是什么？
内存密集型内核优化依赖于现代加速器的线程和内存层级结构，以及内存合并和硬件感知的归约策略。
集群归约在QuACK中的作用是什么？
集群归约允许多个SM协同工作，提升处理能力，避免寄存器溢出，从而提高内存吞吐量。
Tri Dao对未来GPU内核开发的看法是什么？
Tri Dao认为高效的GPU内核开发流程可以自动化，未来可能通过大语言模型生成优化的GPU内核。
QuACK与PyTorch的torch.compile相比有什么优势？
QuACK在归约维度≥65k时显著优于torch.compile，内存吞吐量更高，达到3.01TB/s。
➡️
