使用 OpenVINO™ C++ 异步推理接口部署YOLOv8 ——在Intel IGPU 上实现80+FPS视频推理...
💡
原文中文，约8100字，阅读约需20分钟。
📝
内容提要
本文介绍了OpenVINO Runtime支持同步和异步模式下的推理，通过对比推理速度发现异步接口的速度是同步接口的3.78倍。文章还介绍了OpenVINO工具套件和异步推理接口的使用方法，并展示了在项目环境中使用异步推理实现视频数据推理的代码和时间测试结果。异步推理在提高推理速度方面具有显著优势。
🎯
关键要点
- OpenVINO Runtime支持同步和异步推理模式，异步接口速度是同步接口的3.78倍。
- 异步API允许应用程序在推理时并行执行其他任务，避免硬件空闲时间。
- OpenVINO工具套件基于oneAPI，适用于各种英特尔平台，加速计算机视觉和深度学习应用开发。
- 2024年4月25日发布的OpenVINO 2024.1工具包增加了对更多Gen AI的支持和框架集成。
- 异步推理通过重叠请求传输和推理执行，显著提高推理速度。
- 在C++中，使用ov::InferRequest创建推理请求，支持同步和异步模式。
- 异步推理需要创建多个推理通道，逐帧处理视频数据以实现高效推理。
- 时间测试显示，异步推理的平均推理时间为11.37毫秒，显著快于同步推理的43.02毫秒。
- 项目实现展示了OpenVINO异步推理的优势，能够在集成显卡上实现快速视频推理。
➡️
