使用 TensorRT 加速模型推理

TensorRT是一个用于在NVIDIA GPU上进行高性能推理加速的C++库，支持主流深度学习框架如Caffe、TensorFlow、PyTorch和MXNet。TensorRT通过优化原理提高推理性能，包括合并层、量化、kernel自动调优、动态张量显存和多流并行。转换PyTorch模型为ONNX格式可使用trace或script方法，转换TensorFlow模型需要先转为pb格式再转为TensorRT。转换模型为TensorRT需要下载模型、转换脚本和安装相关依赖。使用TensorRT-LLM进行转换可以获得更好的转换成功率和效率。