【TVM 教程】为 x86 CPU 自动调优卷积网络
💡
原文中文,约10600字,阅读约需26分钟。
📝
内容提要
Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。本文以 resnet-18 为例,介绍了如何为 x86 CPU 优化卷积神经网络,包括网络定义、调优设置和性能评估。
🎯
关键要点
- Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。
- 本文以 resnet-18 为例,介绍了如何为 x86 CPU 优化卷积神经网络。
- 教程不支持 Windows 或最新版本的 macOS。
- 使用 Relay 前端 API 定义网络,可以加载预定义的网络或使用 Relay 构建。
- 示例中使用 resnet-18 进行调优。
- 将卷积内核的数据布局从 NCHW 更改为 NCHWc,以提高性能。
- 使用本地模式进行调优,确保测试结果的准确性。
- 配置张量调优设置并创建任务以优化内核执行性能。
- 使用不同的调优器(如 XGBTuner、GATuner 等)进行内核调优。
- 评估端到端性能,比较不同调优模式下的推理时间。
- 调优过程需要编译多个程序并提取特征,推荐使用高性能 CPU。
- 提供了调优的样本输出和性能评估结果。
❓
延伸问答
Apache TVM 是什么?
Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。
如何为 x86 CPU 优化卷积神经网络?
可以通过使用 Relay 前端 API 定义网络,配置张量调优设置,并使用不同的调优器进行内核调优。
调优过程中需要注意哪些设置?
需要将卷积内核的数据布局从 NCHW 更改为 NCHWc,并使用本地模式进行调优以确保测试结果的准确性。
调优的示例网络是什么?
本文以 resnet-18 为例进行调优。
调优的性能评估是如何进行的?
通过评估端到端性能,比较不同调优模式下的推理时间来进行性能评估。
调优过程中使用了哪些调优器?
使用了 XGBTuner、GATuner、RandomTuner 和 GridSearchTuner 等调优器。
➡️