【TVM 教程】为 x86 CPU 自动调优卷积网络

💡 原文中文,约10600字,阅读约需26分钟。
📝

内容提要

Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。本文以 resnet-18 为例,介绍了如何为 x86 CPU 优化卷积神经网络,包括网络定义、调优设置和性能评估。

🎯

关键要点

  • Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。
  • 本文以 resnet-18 为例,介绍了如何为 x86 CPU 优化卷积神经网络。
  • 教程不支持 Windows 或最新版本的 macOS。
  • 使用 Relay 前端 API 定义网络,可以加载预定义的网络或使用 Relay 构建。
  • 示例中使用 resnet-18 进行调优。
  • 将卷积内核的数据布局从 NCHW 更改为 NCHWc,以提高性能。
  • 使用本地模式进行调优,确保测试结果的准确性。
  • 配置张量调优设置并创建任务以优化内核执行性能。
  • 使用不同的调优器(如 XGBTuner、GATuner 等)进行内核调优。
  • 评估端到端性能,比较不同调优模式下的推理时间。
  • 调优过程需要编译多个程序并提取特征,推荐使用高性能 CPU。
  • 提供了调优的样本输出和性能评估结果。

延伸问答

Apache TVM 是什么?

Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架。

如何为 x86 CPU 优化卷积神经网络?

可以通过使用 Relay 前端 API 定义网络,配置张量调优设置,并使用不同的调优器进行内核调优。

调优过程中需要注意哪些设置?

需要将卷积内核的数据布局从 NCHW 更改为 NCHWc,并使用本地模式进行调优以确保测试结果的准确性。

调优的示例网络是什么?

本文以 resnet-18 为例进行调优。

调优的性能评估是如何进行的?

通过评估端到端性能,比较不同调优模式下的推理时间来进行性能评估。

调优过程中使用了哪些调优器?

使用了 XGBTuner、GATuner、RandomTuner 和 GridSearchTuner 等调优器。

➡️

继续阅读