本文介绍如何在亚马逊云中国区使用SageMaker部署vLLM优化的DeepSeek模型，并结合NextChat实现流式推理的聊天应用，以提升AI服务的效率与安全性。
Ray是一个分布式计算框架，由UC Berkeley的RISELab于2016年发布。它支持AI生态系统，提供任务调度、状态管理和数据传输功能。最新版本为2.42.0，支持流式推理和异构设备通信。本文介绍了Ray的架构、集群搭建及多机推理示例。
完成下面两步后，将自动完成登录并继续当前操作。
