Ray推出了新的命令“ray symmetric-run”,简化了在多节点集群上启动vLLM服务器的流程。该命令允许用户在所有节点上同时运行相同的入口命令,自动处理Ray的设置、作业执行和清理,提升了用户体验。
Docker Desktop v4.38.0之前仅支持单节点Kubernetes集群,现已支持多节点集群,适合真实场景测试和学习Kubernetes。用户可通过简单步骤创建多节点集群。
完成下面两步后,将自动完成登录并继续当前操作。