安志合的学习博客
·
vLLM集成Ray分布式推理模型部署实战
内容提要
本文讨论了从单机到多节点分布式推理部署的架构变化，强调了流水线并行（PP）与张量并行（TP）的结合使用。通过与Ray框架集成，vLLM实现了高效的分布式推理，管理集群资源并协调任务。文章还介绍了Ray集群的搭建、vLLM的配置及生产环境的优化建议，包括网络通信、性能调优和监控等关键步骤。
关键要点
-
从单机到多节点分布式推理部署，架构变化为跨节点网络通信。
-
多节点部署的核心策略是流水线并行（PP）与张量并行（TP）的结合使用。
-
PP将模型的不同层切分到不同节点上，减少跨节点的数据传输量。
-
TP在每个节点内部将切分到的层拆分到多张GPU上，充分利用节点内的高速互联。
-
vLLM与Ray框架集成，Ray负责管理集群资源和协调任务，vLLM作为推理引擎运行在Ray的Worker上。
-
搭建Ray集群是多节点部署的前提条件，包括安装Ray和启动Head节点。
-
在Head节点上启动vLLM服务时，需要指定使用Ray作为分布式执行后端。
-
生产环境中，网络通信是性能瓶颈，需要通过环境变量优化底层通信库的行为。
-
建议使用量化技术（如FP8）以降低模型显存占用和跨节点通信的数据量。
-
确保所有节点的环境一致性和权限设置，以避免不必要的错误和性能问题。
延伸问答
如何搭建Ray集群以支持vLLM的多节点部署？
首先在所有节点上安装Ray，然后在主节点上启动Ray集群，使用命令`ray start --head --port=6379`，接着在Worker节点上连接到主节点，执行`ray start --address=<HEAD_NODE_IP>:6379`。
vLLM与Ray框架集成的主要优势是什么？
vLLM与Ray框架集成后，Ray负责管理集群资源和协调任务，而vLLM作为推理引擎，可以高效利用分配的GPU资源进行模型推理。
在多节点部署中，如何优化网络通信以提高性能？
可以通过设置环境变量来优化底层通信库的行为，确保使用专用的网络接口，并调整NCCL的配置以提高节点间的数据传输速度。
什么是流水线并行（PP）和张量并行（TP），它们如何结合使用？
流水线并行（PP）将模型的不同层切分到不同节点上，而张量并行（TP）在每个节点内部将层拆分到多张GPU上，两者结合可以有效减少跨节点的数据传输量。
在生产环境中，如何确保所有节点的环境一致性？
需要确保所有节点上的Python环境、vLLM版本、Ray版本以及模型路径完全一致，以避免不必要的错误和性能问题。
使用vLLM进行分布式推理时，有哪些关键参数需要设置？
关键参数包括`--distributed-executor-backend ray`（指定Ray作为后端）、`--tensor-parallel-size`（设置张量并行规模）、`--pipeline-parallel-size`（设置流水线并行规模）等。
