【TVM Tutorial】Utilizing Hardware Inline Functions with Tensorize
💡
原文英文，约3800词，阅读约需14分钟。
📝
内容提要
Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。本文介绍了如何通过张量化和调度原语 tensorize 来优化性能，具体展示了矩阵乘法的实现及调度过程，并强调了内联函数的定义与使用。最终，教程演示了如何利用 tensorize 实现高效计算调度。
🎯
关键要点
- Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。
- 本文介绍了如何通过张量化和调度原语 tensorize 来优化性能。
- 通过 tensorize，可以用内联函数替换计算单元，利用手写的 micro-kernels。
- 教程展示了矩阵乘法的实现及调度过程。
- 定义矩阵乘法的计算过程，并展示了 TVM 中的代码实现。
- 调度矩阵乘法时，需要分解 matmul 循环以适应硬件原语的要求。
- 定义 GEMV 的内联函数以实现高效的计算调度。
- 张量化需要用户指定 offset_factor，以优化数据加载。
- 通过张量化，最里面的循环被内联函数替代，提升计算效率。
- 实现了 gemv_update 和 gemv_reset 函数以支持复杂的 tensorization。
- 总结了 tensorize 的用法，强调其在深度学习编译中的重要性。
➡️
