tlanyan
·
使用vLLM + Qwen3.5部署内网AI笔记
内容提要
本文介绍了如何在内网使用vLLM和Qwen3.5部署AI模型。部署环境要求为NVIDIA A100/V100 GPU和Ubuntu 22.04 LTS系统。首先安装GPU驱动和CUDA Toolkit，然后通过UV管理Python环境并安装vLLM。接着，使用Hugging Face CLI下载Qwen3.5模型并配置运行参数。最后，利用Nginx进行负载均衡，以确保多GPU的高效使用。
关键要点
-
本文介绍了在内网使用vLLM和Qwen3.5部署AI模型的步骤。
-
部署环境要求为NVIDIA A100/V100 GPU和Ubuntu 22.04 LTS系统。
-
首先需要安装GPU驱动和CUDA Toolkit，建议使用CUDA 12.9版本。
-
使用UV管理Python环境并安装vLLM，推荐使用Python 3.12版本。
-
通过Hugging Face CLI下载Qwen3.5模型，并配置运行参数。
-
运行模型时需要设置多个环境变量，并可以通过curl查看模型信息。
-
如果有多张显卡，可以使用Nginx进行负载均衡，以确保多GPU的高效使用。
延伸问答
在内网部署AI模型需要哪些硬件要求？
需要NVIDIA A100或V100 GPU和Ubuntu 22.04 LTS系统。
如何安装CUDA Toolkit和GPU驱动？
可以通过命令行安装CUDA Toolkit和驱动，具体步骤包括下载cuda-keyring并安装，然后更新软件包信息并安装CUDA Toolkit和驱动。
使用vLLM部署AI模型的步骤是什么？
首先安装GPU驱动和CUDA Toolkit，然后使用UV管理Python环境并安装vLLM，接着下载Qwen3.5模型并配置运行参数，最后利用Nginx进行负载均衡。
Qwen3.5模型的下载方式是什么？
推荐使用Hugging Face CLI工具，通过命令行下载Qwen3.5模型文件。
如何配置Nginx进行负载均衡？
需要安装Nginx并添加反向代理和负载均衡配置，设置upstream和server块以实现负载均衡。
在使用多张显卡时，如何确保高效使用？
可以通过设置CUDA_VISIBLE_DEVICES环境变量和使用Nginx进行负载均衡来确保多GPU的高效使用。
