tlanyan
·
内网升级vLLM及模型教程
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
本文介绍了如何在内网升级vLLM及AI模型。建议定期更新vLLM以获取新特性，通过简单命令安装新版vLLM，并使用huggingface-cli下载新模型。将新环境和模型打包后，部署到内网机器上，注意保持路径一致，避免不兼容问题。最终成功部署了Qwen 3.6模型。
🎯
关键要点
-
定期更新vLLM以获取新特性，建议每月升级2到3次。
-
使用简单命令初始化新的vLLM环境并安装新版vLLM。
-
通过huggingface-cli下载新的AI模型，确保使用正确的命令。
-
将新的vLLM环境和模型文件打包后，部署到内网机器上。
-
保持路径一致以避免启动错误，必要时修改脚本和配置的Python路径。
-
避免进行大的版本升级，以防止不兼容问题。
❓
延伸问答
如何定期更新vLLM以获取新特性？
建议每月升级2到3次，以确保使用最新特性。
如何在内网部署新的vLLM环境？
使用简单命令初始化新的vLLM环境并安装新版vLLM，然后将其打包并部署到内网机器上。
下载新AI模型需要使用什么工具？
可以使用huggingface-cli来下载新的AI模型。
部署新模型时需要注意哪些路径问题？
需要保持路径一致，否则可能会出现启动错误，可以修改脚本和配置的Python路径。
在升级vLLM时应该避免哪些操作？
应避免进行大的版本升级，以防止不兼容问题。
如何打包新的vLLM环境和模型文件？
可以使用tar命令将新的vLLM环境和模型文件打包，例如：tar -zcf vllm-new.tgz vllm-new。
➡️
