NVIDIA Blog
·
KServe 提供商在云和数据中心中提供灵活的推理服务
💡
原文英文，约900词，阅读约需4分钟。
📝
内容提要
NVIDIA NIM与KServe集成，简化企业部署生成式AI。KServe是基于Kubernetes的开源工具包，可自动将AI模型应用于云计算应用。NIM通过API调用，使生成式AI可以像其他大型企业应用程序一样部署。NIM与Canonical、Nutanix和Red Hat等平台集成，扩展了NVIDIA的技术。KServe是Kubernetes的扩展，支持多种AI框架。NVIDIA计划成为KServe的积极贡献者，并在开源软件领域继续贡献。
🎯
关键要点
-
NVIDIA NIM与KServe集成，简化企业生成式AI的部署。
-
KServe是基于Kubernetes的开源工具包，自动化AI模型的应用。
-
NIM通过API调用，使生成式AI可以像其他大型企业应用程序一样部署。
-
NIM与Canonical、Nutanix和Red Hat等平台集成，扩展了NVIDIA的技术。
-
KServe支持多种AI框架，便于用户在不同模型间切换。
-
KServe的“金丝雀发布”功能自动验证和逐步部署更新模型。
-
NIM使企业IT管理员能够轻松管理AI模型的性能和效率。
-
NIM可在多个企业平台上访问，如Canonical的Charmed KubeFlow和Nutanix GPT-in-a-Box 2.0。
-
NVIDIA计划积极参与KServe项目，继续贡献开源软件。
-
NVIDIA的NIM API可用于Llama 3 8B或Llama 3 70B LLM模型。
🏷️
标签
➡️
