KServe 提供商在云和数据中心中提供灵活的推理服务
内容提要
NVIDIA NIM与KServe集成，简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包，可自动将AI模型应用于云计算应用。NIM通过API调用，使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成，扩展了NVIDIA的技术。KServe是Kubernetes的扩展，支持多种AI框架。NVIDIA计划成为KServe的积极贡献者，并在开源软件领域继续贡献。
延伸解读
KServe 如何简化生成式 AI 部署
KServe 作为 Kubernetes 的扩展，将 AI 推理转化为云应用，支持 PyTorch、TensorFlow 等框架，用户无需了解底层细节。其“金丝雀发布”功能可自动验证并逐步部署更新模型，GPU 自动扩缩容则根据需求动态调整资源，确保服务稳定高效。这些特性降低了企业部署和管理生成式 AI 的复杂度。
NIM 与 KServe 集成的实际价值
NVIDIA NIM 通过 API 调用提供生成式 AI 推理微服务，与 KServe 集成后，企业可在 Canonical、Nutanix、Red Hat 等平台上轻松部署大语言模型。IT 管理员能获取性能指标，优化应用效率，即使更换模型也不受影响。这种集成让生成式 AI 的部署像调用 API 一样简单，加速企业 AI 应用落地。
开源生态与多平台支持
NIM 借助 KServe 集成，可在数十个企业平台（如 Red Hat OpenShift AI、Nutanix GPT-in-a-Box 2.0）上使用，扩展了 NVIDIA 技术的可及性。NVIDIA 计划积极贡献 KServe 项目，延续其在 Triton、TensorRT-LLM 等开源软件上的投入，并作为云原生计算基金会成员，推动生成式 AI 开源生态发展。
Q&A
KServe是什么，它的主要功能是什么？
KServe是一个基于Kubernetes的开源工具包，主要用于自动化AI模型的应用，支持多种AI框架。
NVIDIA NIM如何与KServe集成？
NVIDIA NIM通过API调用与KServe集成，使生成式AI的部署变得简单，像其他大型企业应用一样。
KServe的“金丝雀发布”功能有什么作用？
“金丝雀发布”功能可以自动验证和逐步部署更新的模型，确保新版本的稳定性。
NIM如何帮助企业IT管理员管理AI模型？
NIM提供性能和效率的指标，帮助IT管理员轻松管理AI模型，无论是在数据中心还是云服务上。
KServe支持哪些AI框架？
KServe支持PyTorch、Scikit-learn、TensorFlow和XGBoost等多种AI框架。
NVIDIA在KServe项目中的角色是什么？
NVIDIA计划积极参与KServe项目，继续为开源软件贡献技术和支持。
