【TVM 教程】使用 TVM 部署框架预量化模型 - 第 3 部分（TFLite）
💡
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
Apache TVM是一个深度学习编译框架，适用于CPU、GPU和机器学习加速芯片。本教程介绍了如何量化TFLite计算图，并通过TVM编译和执行。
🎯
关键要点
- Apache TVM 是一个深度学习编译框架，适用于 CPU、GPU 和机器学习加速芯片。
- 本教程介绍如何量化 TFLite 计算图，并通过 TVM 编译和执行。
- 在开始之前，需要安装 TensorFlow 和 TFLite 包，并检查安装是否成功。
- 使用 TFLite 预量化模型进行推理以获得预测结果。
- 通过 TFLite-Relay 解析器将 TFLite 预量化计算图转换为 Relay IR。
- 使用 'llvm' target 编译 Relay 模块，并在 TVM 编译模块上调用推理。
- 由于 TFLite 和 Relay 之间的再量化实现不同，最终输出数字可能不匹配。
- 如果硬件对 INT8 整数的指令没有特殊支持，量化模型与 FP32 模型速度相近。
- 在 x86 CPU 上，使用 AVX512 指令集可以实现最佳性能。
- ARM 上的英特尔 conv2d NCHWc 调度提供了更好的端到端延迟。
- 设置环境变量 TVM_NUM_THREADS 为物理内核数以优化性能。
- 为硬件选择最佳 target 参数以获得最佳推理性能。
➡️
