9n-triton部署bert模型实战经验
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
本文介绍了算法工程师解决Python部署线上服务性能问题的经验，使用Nvidia的triton部署框架将深度学习模型部署至九数中台，性能提升了337%。文章列举了Python后端部署问题，包括性能低、多线程困难、内存占用过多等。作者选择了使用triton部署算法模型来解决这些问题，摒弃传统镜像部署方式。文章详细介绍了部署流程和注意事项，并给出了代码示例。最后，作者总结了使用triton框架部署torchscript方式的优势。
❓
Q&A
使用triton框架部署模型有什么优势？
使用triton框架可以显著提升模型推理性能，本文提到性能提升达337%。
Python后端部署存在哪些主要问题？
主要问题包括性能低、多线程困难和内存占用过多。
如何将Bert模型转换为.pt文件？
可以使用torch.jit.trace方法，将训练好的模型保存为.pt文件格式。
triton部署模型时需要注意哪些目录格式？
模型目录需包含model.pt和config.pbtxt，格式需严格按照要求。
在triton中，如何测试模型是否成功部署？
可以通过post接口在notebook中测试接口通不通，确保模型正常工作。
转换onnx文件时需要注意什么？
需要额外安装transformers-onnx包，并建议在本地转换。
🏷️
