使用 OpenVINO™ C++ 异步推理接口部署YOLOv8 ——在Intel IGPU 上实现80+FPS视频推理...
内容提要
本文介绍了OpenVINO Runtime支持同步和异步模式下的推理，通过对比推理速度发现异步接口的速度是同步接口的3.78倍。文章还介绍了OpenVINO工具套件和异步推理接口的使用方法，并展示了在项目环境中使用异步推理实现视频数据推理的代码和时间测试结果。异步推理在提高推理速度方面具有显著优势。
关键要点
-
OpenVINO Runtime支持同步和异步推理模式，异步接口速度是同步接口的3.78倍。
-
异步API允许应用程序在推理时并行执行其他任务，避免硬件空闲时间。
-
OpenVINO工具套件基于oneAPI，适用于各种英特尔平台，加速计算机视觉和深度学习应用开发。
-
2024年4月25日发布的OpenVINO 2024.1工具包增加了对更多Gen AI的支持和框架集成。
-
异步推理通过重叠请求传输和推理执行，显著提高推理速度。
-
在C++中，使用ov::InferRequest创建推理请求，支持同步和异步模式。
-
异步推理需要创建多个推理通道，逐帧处理视频数据以实现高效推理。
-
时间测试显示，异步推理的平均推理时间为11.37毫秒，显著快于同步推理的43.02毫秒。
-
项目实现展示了OpenVINO异步推理的优势，能够在集成显卡上实现快速视频推理。
延伸问答
OpenVINO的异步推理接口有什么优势？
异步推理接口允许应用程序在推理时并行执行其他任务，避免硬件空闲时间，推理速度是同步接口的3.78倍。
如何在C++中使用OpenVINO进行异步推理？
在C++中，可以使用ov::InferRequest创建推理请求，并通过start_async方法启动异步推理。
OpenVINO工具套件的主要功能是什么？
OpenVINO工具套件基于oneAPI，旨在加速计算机视觉和深度学习应用的开发，适用于各种英特尔平台。
异步推理的平均推理时间是多少？
异步推理的平均推理时间为11.37毫秒，显著快于同步推理的43.02毫秒。
OpenVINO 2024.1工具包有哪些新特性？
OpenVINO 2024.1工具包增加了对更多Gen AI的支持和框架集成，提供更广泛的LLM模型支持和模型压缩技术。
如何实现视频数据的异步推理？
需要创建多个推理通道，逐帧处理视频数据，并在推理完成后读取结果，依次进行。
