OpenVINO Runtime支持同步或异步模式下的推理。异步API的优点是可以并行执行其他任务，而不是等待当前推理完成。OpenVINO C# API是一个OpenVINO的.Net wrapper，可以在.NET框架下使用C#语言实现深度学习模型的推理加速。异步模式可以提高应用程序的帧速率，可以使用InferRequest.start_async接口进行推理。项目环境为OpenVINO IGPUCPU: Intel Core i7-1165G7IGPU: Intel Iris Xe Graphics。代码实现包括定义YOLOv8数据处理方法和异步推理实现。异步推理速度提升了3.78倍。

本文介绍了OpenVINO Runtime支持同步和异步模式下的推理，通过对比推理速度发现异步接口的速度是同步接口的3.78倍。文章还介绍了OpenVINO工具套件和异步推理接口的使用方法，并展示了在项目环境中使用异步推理实现视频数据推理的代码和时间测试结果。异步推理在提高推理速度方面具有显著优势。