NVIDIA Blog
·
Hugging Face为开发者提供由NVIDIA NIM驱动的推理即服务
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
一项新服务将AI模型的令牌效率提高了5倍，使开发人员能够立即访问在NVIDIA DGX Cloud上运行的NIM微服务。该服务帮助开发人员快速部署大型语言模型，并通过NVIDIA NIM微服务进行优化。推理服务帮助开发人员在Hugging Face Hub上快速原型设计和部署到生产环境中。企业Hub用户可以利用无服务器推理提高灵活性、减少基础设施开销，并通过NVIDIA NIM实现优化性能。这些工具为Hugging Face开发人员提供了在NVIDIA加速基础设施上实验、测试和部署尖端模型的新方法。
🎯
关键要点
- 新服务将AI模型的令牌效率提高了5倍，开发人员可以立即访问在NVIDIA DGX Cloud上运行的NIM微服务。
- Hugging Face平台的400万开发者可以轻松访问NVIDIA加速的推理服务，快速部署大型语言模型。
- 该服务支持开发人员快速原型设计开源AI模型，并将其部署到生产环境中。
- 企业Hub用户可以利用无服务器推理提高灵活性，减少基础设施开销，并优化性能。
- 推理服务与Hugging Face上的AI训练服务相辅相成，提供新的实验和部署方式。
- NVIDIA NIM是一系列优化推理的AI微服务，提供更高的令牌处理效率。
- NIM微服务提高了NVIDIA DGX Cloud基础设施的效率，加快了AI应用的速度。
- NVIDIA DGX Cloud平台专为生成式AI设计，提供可扩展的GPU资源，支持AI开发的每个步骤。
- Hugging Face推理服务使用户能够在企业级环境中实验最新的AI模型。
- 在SIGGRAPH上，NVIDIA还介绍了用于OpenUSD框架的生成式AI模型和NIM微服务。
➡️
