NVIDIA Blog
·
NVIDIA NIM在AWS上加速AI推理
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
亚马逊在AWS re:Invent大会上宣布，NVIDIA NIM微服务已在AWS市场、Amazon Bedrock和SageMaker JumpStart上线，支持更快的AI推理和更低延迟，便于开发者高效、安全地部署多种AI模型的生成式AI应用。
🎯
关键要点
- 亚马逊在AWS re:Invent大会上宣布，NVIDIA NIM微服务已上线AWS市场、Amazon Bedrock和SageMaker JumpStart。
- NVIDIA NIM微服务支持更快的AI推理和更低延迟，便于开发者高效、安全地部署生成式AI应用。
- NIM微服务可在多个AWS服务上部署，包括Amazon EC2、EKS和SageMaker。
- 开发者可以预览超过100个基于常用模型的NIM微服务，包括Meta的Llama 3和Mistral AI的Mistral等。
- NIM微服务包括NVIDIA Nemotron-4、Llama 3.1 8B-Instruct、Llama 3.1 70B-Instruct和Mixtral 8x7B Instruct v0.1等。
- 客户和合作伙伴利用NIM在AWS上快速上市，维护生成式AI应用和数据的安全性和控制，降低成本。
- 开发者可以根据需求在AWS上部署NVIDIA NIM微服务，实现高性能AI推理。
- 访问NVIDIA API目录，尝试超过100种NIM优化模型，申请开发者许可证或90天试用许可证。
❓
延伸问答
NVIDIA NIM微服务在AWS上有哪些主要功能？
NVIDIA NIM微服务支持更快的AI推理和更低延迟，便于开发者高效、安全地部署生成式AI应用。
开发者如何在AWS上使用NVIDIA NIM微服务？
开发者可以在AWS市场、Amazon Bedrock和SageMaker JumpStart上部署NVIDIA NIM微服务，根据需求实现高性能AI推理。
NVIDIA NIM微服务支持哪些AI模型？
NVIDIA NIM微服务支持超过100种基于常用模型的微服务，包括Meta的Llama 3和Mistral AI的Mistral等。
NVIDIA NIM微服务的部署环境有哪些？
NIM微服务可以在Amazon EC2、EKS和SageMaker等多个AWS服务上部署。
使用NVIDIA NIM微服务的好处是什么？
使用NVIDIA NIM微服务可以加快上市速度，维护生成式AI应用和数据的安全性，降低成本。
如何获取NVIDIA NIM微服务的试用许可证？
开发者可以访问NVIDIA API目录，申请开发者许可证或90天试用许可证以开始使用NIM微服务。
➡️
