在 Kubernetes 上启动一个推理服务并不难，vLLM + Deployment 就能跑起来。但是服务多起来以后，模型从哪里加载、使用哪个 Runtime、GPU 怎么分配、服务怎么暴露，这些配置很快就会散落在一堆 YAML 里。KServe 就是用来解决模型服务管理问题的。 本文从零安装 KServe Standard 模式和 Envoy Gateway，通过本地 PVC 部署...

KServe在KubeCon+CloudNativeCon北美大会上被CNCF接受为孵化项目，展示了Kubernetes在AI计算中的重要性。KServe提供标准化的模型服务，支持多种框架，具备智能路由和自动扩展功能，适用于预测和生成AI。该项目自2019年启动，现有19名维护者和300多名贡献者。

CNCF技术监督委员会已将KServe接受为孵化项目。KServe是一个标准化的分布式AI推理平台，支持Kubernetes上的多框架部署，旨在满足企业级AI工作负载需求。该项目自2019年起由多家公司合作开发，2022年独立，2025年加入CNCF，广泛应用于多个行业，支持生成和预测AI工作负载。

云原生大语言模型推理的四个框架（KServe、vLLM、llm-d、WG Serving）推动了推理系统的标准化与模块化。通过分层协作和标准接口，开发者能够实现高性能、低成本的推理服务，促进AI架构的创新与应用。

KServe v0.15发布，增强了对生成AI模型的支持，新增多节点推理、LLM自动扩展和分布式KV缓存功能，提高了服务效率和可扩展性。

Sveltos 提供多集群、GitOps 驱动的 MLOps 解决方案，旨在高效管理 Kubernetes 上的 AI 工作负载，适合复杂的 AI 堆栈部署。

NVIDIA NIM与KServe集成，简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包，可自动将AI模型应用于云计算应用。NIM通过API调用，使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成，扩展了NVIDIA的技术。KServe是Kubernetes的扩展，支持多种AI框架。NVIDIA计划成为KServe的积极贡献者，并在开源软件领域继续贡献。