KServe是CNCF孵化项目，用于解决AI团队模型上线后的服务管理问题。它不负责GPU推理（由vLLM等引擎承担），而是管理版本、流量切分、扩缩容和回滚。核心抽象InferenceService让模型成为K8s一等公民，并复用GitOps流程。针对大模型，KServe推出LLMInferenceService专用CRD，默认绑定vLLM，集成llm-d分布式调度和Envoy AI Gateway流量治理。但模型较少时不必引入，因其运维复杂度高，且LLMInferenceService仍为alpha版。