NIM:Nvidia AI 应用平台开发者指南
原文英文,约1400词,阅读约需5分钟。发表于: 。In March 2024, Nvidia announced NIM (Nvidia Inference Microservices), a set of easy-to-use microservices designed to accelerate the deployment of The post A Developers Guide to NIM, Nvidia’s AI...
Nvidia于2024年3月宣布推出NIM(Nvidia Inference Microservices),这是一套用于加速生成式AI模型部署的微服务。NIM可作为APIs提供,也可作为独立的容器镜像使用。NIM API使开发人员能够轻松部署AI模型,并提供多个端点与AI模型进行交互。Nvidia NIM是Nvidia AI Enterprise平台的一部分,该平台加速数据科学流程,并简化生成式AI应用的开发和部署。NIM还可以使用Docker或Kubernetes作为自包含镜像进行部署。NIM为AI推理提供了强大、可扩展和安全的平台,可在消费级GPU上运行。