大模型推理服务启动需加载权重、初始化GPU、编译内核并捕获计算图,耗时显著。vLLM和SGLang通过权重守护进程、持久缓存、休眠唤醒及快照复用已初始化状态来优化;平台层如Snapshot、Dynamo、llm-d构建预热实例与快照工作流;Kubernetes、CRI和OCI推进Pod级检查点、恢复接口及制品打包,但GPU状态、跨节点恢复和兼容性仍受限。
完成下面两步后,将自动完成登录并继续当前操作。