Ray推出了新的命令“ray symmetric-run”,简化了在多节点集群上启动vLLM服务器的流程。该命令允许用户在所有节点上同时运行相同的入口命令,自动处理Ray的设置、作业执行和清理,提升了用户体验。
完成下面两步后,将自动完成登录并继续当前操作。