本文介绍如何为KServe模型服务接入KEDA，实现基于vLLM指标的自动扩缩容。通过安装KEDA和Prometheus，配置InferenceService和ServiceMonitor，利用vLLM暴露的请求指标，KEDA查询Prometheus数据并驱动HPA调整副本数。实测验证了服务从1个副本扩至2个再缩回1个的完整流程，有效平衡突发请求与资源利用率。

本文介绍如何通过KServe与HAMi实现GPU共享，使多个推理服务共用一张GPU。文章详细说明了安装GPU Operator、cert-manager和HAMi-DRA的步骤，并展示了创建共享GPU推理服务的配置方法。通过ResourceClaimTemplate声明GPU资源，每个Pod获得独立配额，验证了两个副本能同时共享同一张Tesla T4 GPU，各分配3Gi显存和20%算力，有效避免小模型独占整卡，提升GPU利用率。

KServe是基于Kubernetes的AI推理平台，分为控制面和数据面。用户提交InferenceService后，Webhook校验配置，Controller根据modelFormat匹配ServingRuntime，合并配置创建Deployment、Service和HTTPRoute。Pod启动时注入PVC存储，HuggingFaceServer自动选择vLLM作为推理后端，加载模型并执行推理。请求经Envoy Proxy转发至Predictor Pod，由vLLM在GPU上完成推理。

KServe是Kubernetes上的AI推理平台，用于管理模型服务。本文介绍从零安装KServe Standard模式和Envoy Gateway，通过PVC部署Qwen2.5-0.5B-Instruct模型。步骤包括安装cert-manager、Envoy Gateway、创建Gateway、安装KServe，然后下载模型、创建PV/PVC和InferenceService，最后通过OpenAI兼容接口请求API。KServe将模型地址、Runtime、GPU资源和访问入口统一收敛到InferenceService中，简化推理服务管理。

KServe在KubeCon+CloudNativeCon北美大会上被CNCF接受为孵化项目，展示了Kubernetes在AI计算中的重要性。KServe提供标准化的模型服务，支持多种框架，具备智能路由和自动扩展功能，适用于预测和生成AI。该项目自2019年启动，现有19名维护者和300多名贡献者。

CNCF技术监督委员会已将KServe接受为孵化项目。KServe是一个标准化的分布式AI推理平台，支持Kubernetes上的多框架部署，旨在满足企业级AI工作负载需求。该项目自2019年起由多家公司合作开发，2022年独立，2025年加入CNCF，广泛应用于多个行业，支持生成和预测AI工作负载。

云原生大语言模型推理的四个框架（KServe、vLLM、llm-d、WG Serving）推动了推理系统的标准化与模块化。通过分层协作和标准接口，开发者能够实现高性能、低成本的推理服务，促进AI架构的创新与应用。

KServe v0.15发布，增强了对生成AI模型的支持，新增多节点推理、LLM自动扩展和分布式KV缓存功能，提高了服务效率和可扩展性。

Sveltos 提供多集群、GitOps 驱动的 MLOps 解决方案，旨在高效管理 Kubernetes 上的 AI 工作负载，适合复杂的 AI 堆栈部署。

NVIDIA NIM与KServe集成，简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包，可自动将AI模型应用于云计算应用。NIM通过API调用，使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成，扩展了NVIDIA的技术。KServe是Kubernetes的扩展，支持多种AI框架。NVIDIA计划成为KServe的积极贡献者，并在开源软件领域继续贡献。