【TVM教程】为 NVIDIA GPU 自动调度神经网络
内容提要
Apache TVM 是一个深度学习编译框架，支持 CPU、GPU 和加速芯片。本文介绍如何使用 auto-scheduler 对 NVIDIA GPU 上的神经网络进行自动调优，通过将网络划分为子图并独立优化来提升性能。推荐使用 NHWC 布局以获得最佳效果，并提供了调优过程中的参数设置和代码示例。
关键要点
-
Apache TVM 是一个深度学习编译框架，支持 CPU、GPU 和加速芯片。
-
使用 auto-scheduler 对 NVIDIA GPU 上的神经网络进行自动调优。
-
将网络划分为子图并独立优化以提升性能。
-
推荐使用 NHWC 布局以获得最佳效果。
-
提供了调优过程中的参数设置和代码示例。
-
自动调优神经网络需要将网络划分为小的子图。
-
每个子图被视为一个搜索任务，任务调度器动态分配时间资源。
-
auto-scheduler 无需任何调度模板，直接使用计算声明。
-
本教程无法在 Windows 或最新版本的 macOS 上运行。
-
使用 Relay 前端 API 定义网络，可以从多个框架加载模型。
-
通过 NHWC 布局实现的性能最佳，推荐将模型转换为 NHWC 布局。
-
提取搜索任务及其权重以优化网络的端到端延迟。
-
设置调优和启动搜索任务的选项，包括测试次数和日志记录。
-
调优过程中打印的信息用于调试，显示任务的延迟和速度。
-
可以通过强制终止进程提前终止调优。
-
自动调优后，用找到的最佳调度来编译网络。
-
推荐使用多核高性能 CPU 加快搜索速度。
-
可以从以前的日志文件恢复搜索，支持并行化测试。
延伸解读
自动调优的优势
使用 Apache TVM 的 auto-scheduler 进行自动调优，可以显著提升神经网络在 NVIDIA GPU 上的性能。通过将网络划分为子图并独立优化，能够更有效地利用 GPU 的计算资源，减少执行时间。这种方法特别适合需要高性能计算的深度学习任务。
NHWC 布局的重要性
在调优过程中，推荐使用 NHWC 布局，因为 auto-scheduler 对该布局进行了多项优化，能够实现最佳性能。开发者在设计模型时应考虑将其转换为 NHWC 布局，以便充分发挥 auto-scheduler 的优势，提升整体计算效率。
调优过程中的注意事项
在进行自动调优时，需设置合适的参数，如测试次数和日志记录，以确保调优过程的有效性。建议在调优期间使用多核高性能 CPU，以加快搜索速度。此外，调优过程中可能会出现错误信息，通常可以忽略，只要确保每个任务至少有一个有效调度即可。
延伸问答
Apache TVM 是什么？
Apache TVM 是一个深度学习编译框架，支持 CPU、GPU 和加速芯片。
如何使用 auto-scheduler 对 NVIDIA GPU 进行神经网络调优？
使用 auto-scheduler 需要将网络划分为小的子图并独立优化，每个子图作为一个搜索任务。
为什么推荐使用 NHWC 布局？
推荐使用 NHWC 布局是因为它能实现最佳性能，auto-scheduler 对该布局进行了多项优化。
调优过程中如何设置参数？
可以设置测试次数、日志记录等选项，推荐将测试次数设置为 900 * len(tasks)。
如何提前终止调优过程？
可以通过强制终止进程来提前终止调优，只要在日志文件中为每个任务获得至少一个有效的调度。
调优后如何编译网络？
调优后，使用找到的最佳调度来编译网络，并通过历史最佳记录加载调度。
