【Triton 教程】triton_language.tensor

💡 原文中文,约2700字,阅读约需7分钟。
📝

内容提要

Triton 是一种基于 Python 的并行编程语言和编译器,旨在高效编写自定义 DNN 计算内核,并在现代 GPU 上运行。其核心数据结构为张量,支持多种操作和函数,简化编程过程。

🎯

关键要点

  • Triton 是一种基于 Python 的并行编程语言和编译器。
  • Triton 旨在高效编写自定义 DNN 计算内核,并在现代 GPU 上运行。
  • Triton 的核心数据结构是张量,支持多种操作和函数。
  • 张量在 Triton 程序中是最基本的数据结构,许多函数对张量进行操作。
  • Triton 中的成员函数与自由函数相对应,例如 x.sqrt() 等同于 triton.language.sqrt(x)。
  • 张量定义了大部分魔法/双下划线方法,支持常见的数学运算。
  • Triton 提供了多种方法用于张量操作,如 abs、argmax、atomic_add 等。
  • 用户代码不直接调用构造函数和 init 方法。
➡️

继续阅读