使用 ONNX-MLIR 優化 ONNX 模型並在 C++ 中進行推論
💡
原文中文，约9400字，阅读约需23分钟。
📝
内容提要
ONNX-MLIR 是一个用于优化和编译 ONNX 模型的工具，能够将模型转换为高效的可执行文件，支持多种硬件环境。本文介绍了如何使用 ONNX-MLIR 将鸢尾花分类模型转换为共享库并进行推理，包括模型构建、转换和 C++ 编程等步骤。
🎯
关键要点
- ONNX-MLIR 是一個優化和編譯 ONNX 模型的工具，支持多種硬體環境。
- ONNX 格式使不同機器學習框架之間的模型可以互相轉換和運行。
- 文章展示了如何將鸢尾花分類模型轉換為共享庫並進行推論，分為三個步驟：建立 ONNX 模型、使用 ONNX-MLIR 轉換模型、撰寫 C++ 程式進行推論。
- 安裝 ONNX-MLIR 需要在 macOS 環境下安裝必要的工具和庫，如 CMake 和 Ninja。
- 使用 TensorFlow 建立鳶尾花分類模型並將其導出為 ONNX 格式。
- 使用 onnx-mlir 將 ONNX 模型編譯為共享庫（.so 文件），並生成模型推論的邏輯實現。
- 撰寫 C++ 程式載入共享庫並進行模型推論，展示如何使用 libcruntime 進行高效推論。
- 生成的 .so 文件可以作為獨立的模型推論庫，並與 libcruntime 配合使用。
- ONNX-MLIR 的工作流程包括輸入 ONNX 模型、編譯和優化、生成共享庫。
➡️
