KServe 提供商在云和数据中心中提供灵活的推理服务
原文英文,约900词,阅读约需4分钟。发表于: 。Deploying generative AI in the enterprise is about to get easier than ever. NVIDIA NIM, a set of generative AI inference microservices, works with KServe, open-source software that automates...
NVIDIA NIM与KServe集成,简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包,可自动将AI模型应用于云计算应用。NIM通过API调用,使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成,扩展了NVIDIA的技术。KServe是Kubernetes的扩展,支持多种AI框架。NVIDIA计划成为KServe的积极贡献者,并在开源软件领域继续贡献。