PyTorch宣布去CUDA，Triton时代来临?
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
PyTorch宣布实现了100%基于OpenAI的Triton语言推理的大语言模型，拓宽AI应用的硬件选择范围。Triton提供了更高级的抽象层，简化编写高性能GPU程序。测试数据显示，基于Triton的模型推理速度约为CUDA版本的76%到78%。Triton可能挑战NVIDIA在AI芯片市场的优势，但要打破CUDA的地位还需努力。
❓
Q&A
Triton是什么，它的主要功能是什么？
Triton是一种由OpenAI开发的编程语言，专门用于GPU编程，旨在打破NVIDIA CUDA的垄断，简化高性能GPU程序的编写。
使用Triton编写的模型在性能上与CUDA相比如何？
基于Triton的模型推理速度在H100上为CUDA的76%到78%，在A100上为62%到82%，虽然不及CUDA，但表现令人惊喜。
Triton如何影响AI芯片市场的格局？
Triton的出现可能挑战NVIDIA在AI芯片市场的绝对优势，打破CUDA的垄断，带来新的硬件选择。
Triton的性能差异主要来源于哪些方面？
性能差异主要源于Triton的矩阵乘法内核和Flash Attention内核的速度较慢，分别比CUDA慢1.2到1.4倍和1.6倍。
PyTorch团队在优化Triton性能方面有哪些探索？
PyTorch团队正在探索新的优化方案，如FlexAttention技术，以提高处理长上下文和解码问题的性能。
Triton的出现对开发者有什么好处？
Triton提供更高级的抽象层，使得编写高性能GPU程序变得简单，降低了开发者的技术门槛。
🏷️
