triton server 模型的加解密
💡
原文中文，约6100字，阅读约需15分钟。
📝
内容提要
本文探讨了在Triton Inference Server中实现模型的加解密。作者提出了一种简单的加解密方案，通过在ONNX模型文件开头添加字节进行加密，解密时去除该字节。尽管没有找到完整示例，作者自行编译了相关工具，并成功实现了模型的加解密流程。但在加载完成后无法删除解密模型，需等待更新解决。
🎯
关键要点
- Triton Inference Server的模型加解密对私有部署模型非常重要，尤其是在担心模型权重泄露的场景。
- 作者提出了一种简单的加解密方案：在ONNX模型文件开头添加一个字节进行加密，解密时去掉该字节。
- 尽管未找到完整示例，作者自行编译了相关工具，并成功实现了模型的加解密流程。
- 在加载完成后，无法删除解密模型，需等待更新解决此问题。
- 作者通过实践深入理解了Triton server的模型加解密流程，并成功实现了模型的加密保护。
❓
延伸问答
Triton Inference Server中如何实现模型的加解密？
在Triton Inference Server中，可以通过在ONNX模型文件开头添加一个字节进行加密，解密时去掉该字节来实现模型的加解密。
为什么在Triton Inference Server中需要对模型进行加解密？
对模型进行加解密是为了保护私有部署模型，防止模型权重泄露，尤其是在安全性要求较高的场景中。
在实现模型加解密时遇到了什么问题？
在加载完成后，无法删除解密模型，需等待更新解决此问题，这是一个已记录的bug。
如何编译Triton Inference Server的相关工具？
可以通过下载官方repo并执行一系列安装命令来编译相关工具，包括安装依赖和编译checksum repository agent。
解密模型后如何处理临时文件？
解密后的模型应存放在临时目录中，并在合适的时机删除，但由于bug，当前无法在加载完成后自动删除。
Triton Inference Server的加解密方案有哪些限制？
当前的加解密方案存在无法删除解密模型的限制，需等待后续更新解决此问题。
➡️
