本文讨论了在TensorRT中实现和集成自定义插件的方法,并提供了一个具体示例。自定义插件用于加速在NVIDIA GPU上的深度学习推理,并允许用户为TensorRT不支持的神经网络层创建自定义插件。文章提供了创建自定义插件、实现插件类以及在TensorRT中注册插件的代码示例。还演示了如何使用自定义插件构建引擎并运行推理。
完成下面两步后,将自动完成登录并继续当前操作。