Lei Mao's Log Book
·
TensorRT插件版本与命名空间
内容提要
TensorRT插件通过版本和命名空间扩展功能，简化自定义层与插件的映射。注册插件时需指定名称、版本和命名空间，以避免冲突。TensorRT 10引入新接口，硬编码命名空间，确保插件在反序列化时正确匹配。
关键要点
-
TensorRT插件通过版本和命名空间扩展功能，简化自定义层与插件的映射。
-
注册插件时需指定名称、版本和命名空间，以避免冲突。
-
TensorRT 10引入新接口，硬编码命名空间，确保插件在反序列化时正确匹配。
-
插件注册时，插件名称、版本和命名空间是关键属性。
-
在TensorRT 10之前，使用IPluginCreator和IPluginV2接口创建和使用插件。
-
TensorRT 10后，IPluginCreator和IPluginV2被弃用，取而代之的是IPluginCreatorV3One和IPluginV3接口。
-
TensorRT引擎通常从ONNX模型创建，ONNX解析器自动尝试将未识别的节点导入为插件。
-
在序列化过程中，TensorRT引擎内部存储所有插件的类型、版本和命名空间。
-
在反序列化时，TensorRT根据插件类型、版本和命名空间查找插件创建者。
-
对于同名同版本的插件，需使用不同的命名空间进行注册以避免冲突。
延伸解读
插件命名空间的重要性
在TensorRT中，命名空间的使用至关重要。它不仅帮助避免同名插件之间的冲突，还能确保在复杂的推理场景中正确映射自定义层。开发者在注册插件时，必须仔细选择命名空间，以确保插件在反序列化时能够被正确识别和使用。
TensorRT 10的接口变更
TensorRT 10引入了新的插件接口IPluginCreatorV3One和IPluginV3，取代了之前的IPluginCreator和IPluginV2。这一变化意味着插件的命名空间不再可以在运行时修改，开发者需要在设计阶段就明确命名空间，以避免后续的兼容性问题。
ONNX模型与插件的关系
TensorRT引擎通常从ONNX模型创建，ONNX解析器会自动尝试将未识别的节点导入为插件。开发者在使用ONNX导出时，应注意设置插件版本和命名空间，以确保在模型转换过程中能够正确匹配所需的插件，避免潜在的错误和性能问题。
延伸问答
TensorRT插件的主要功能是什么？
TensorRT插件通过版本和命名空间扩展功能，简化自定义层与插件的映射。
在注册TensorRT插件时需要注意哪些属性？
注册插件时需指定名称、版本和命名空间，以避免冲突。
TensorRT 10引入了哪些新的接口？
TensorRT 10引入了IPluginCreatorV3One和IPluginV3接口，取代了之前的IPluginCreator和IPluginV2接口。
如何在TensorRT中处理同名同版本的插件？
对于同名同版本的插件，需使用不同的命名空间进行注册以避免冲突。
TensorRT引擎是如何创建的？
TensorRT引擎通常从ONNX模型创建，ONNX解析器自动尝试将未识别的节点导入为插件。
在反序列化过程中，TensorRT如何查找插件创建者？
在反序列化时，TensorRT根据插件类型、版本和命名空间查找插件创建者。
