Hugging Face为开发者提供由NVIDIA NIM驱动的推理即服务
原文英文,约600词,阅读约需2分钟。发表于: 。One of the world’s largest AI communities — comprising 4 million developers on the Hugging Face platform — is gaining easy access to NVIDIA-accelerated inference on some of the most popular AI...
一项新服务将AI模型的令牌效率提高了5倍,使开发人员能够立即访问在NVIDIA DGX Cloud上运行的NIM微服务。该服务帮助开发人员快速部署大型语言模型,并通过NVIDIA NIM微服务进行优化。推理服务帮助开发人员在Hugging Face Hub上快速原型设计和部署到生产环境中。企业Hub用户可以利用无服务器推理提高灵活性、减少基础设施开销,并通过NVIDIA NIM实现优化性能。这些工具为Hugging Face开发人员提供了在NVIDIA加速基础设施上实验、测试和部署尖端模型的新方法。