【TVM教程】为 NVIDIA GPU 自动调度神经网络
💡
原文中文，约33900字，阅读约需81分钟。
📝
内容提要
Apache TVM 是一个深度学习编译框架，支持 CPU、GPU 和加速芯片。本文介绍如何使用 auto-scheduler 对 NVIDIA GPU 上的神经网络进行自动调优，通过将网络划分为子图并独立优化来提升性能。推荐使用 NHWC 布局以获得最佳效果，并提供了调优过程中的参数设置和代码示例。
🎯
关键要点
- Apache TVM 是一个深度学习编译框架，支持 CPU、GPU 和加速芯片。
- 使用 auto-scheduler 对 NVIDIA GPU 上的神经网络进行自动调优。
- 将网络划分为子图并独立优化以提升性能。
- 推荐使用 NHWC 布局以获得最佳效果。
- 提供了调优过程中的参数设置和代码示例。
- 自动调优神经网络需要将网络划分为小的子图。
- 每个子图被视为一个搜索任务，任务调度器动态分配时间资源。
- auto-scheduler 无需任何调度模板，直接使用计算声明。
- 本教程无法在 Windows 或最新版本的 macOS 上运行。
- 使用 Relay 前端 API 定义网络，可以从多个框架加载模型。
- 通过 NHWC 布局实现的性能最佳，推荐将模型转换为 NHWC 布局。
- 提取搜索任务及其权重以优化网络的端到端延迟。
- 设置调优和启动搜索任务的选项，包括测试次数和日志记录。
- 调优过程中打印的信息用于调试，显示任务的延迟和速度。
- 可以通过强制终止进程提前终止调优。
- 自动调优后，用找到的最佳调度来编译网络。
- 推荐使用多核高性能 CPU 加快搜索速度。
- 可以从以前的日志文件恢复搜索，支持并行化测试。
❓
延伸问答
Apache TVM 是什么？
Apache TVM 是一个深度学习编译框架，支持 CPU、GPU 和加速芯片。
如何使用 auto-scheduler 对 NVIDIA GPU 进行神经网络调优？
使用 auto-scheduler 需要将网络划分为小的子图并独立优化，每个子图作为一个搜索任务。
为什么推荐使用 NHWC 布局？
推荐使用 NHWC 布局是因为它能实现最佳性能，auto-scheduler 对该布局进行了多项优化。
调优过程中如何设置参数？
可以设置测试次数、日志记录等选项，推荐将测试次数设置为 900 * len(tasks)。
如何提前终止调优过程？
可以通过强制终止进程来提前终止调优，只要在日志文件中为每个任务获得至少一个有效的调度。
调优后如何编译网络？
调优后，使用找到的最佳调度来编译网络，并通过历史最佳记录加载调度。
🏷️
标签
➡️
