Hugging Face为开发者提供由NVIDIA NIM驱动的推理即服务
内容提要
一项新服务将AI模型的令牌效率提高了5倍，使开发人员能够立即访问在NVIDIA DGX Cloud上运行的NIM微服务。该服务帮助开发人员快速部署大型语言模型，并通过NVIDIA NIM微服务进行优化。推理服务帮助开发人员在Hugging Face Hub上快速原型设计和部署到生产环境中。企业Hub用户可以利用无服务器推理提高灵活性、减少基础设施开销，并通过NVIDIA NIM实现优化性能。这些工具为Hugging Face开发人员提供了在NVIDIA加速基础设施上实验、测试和部署尖端模型的新方法。
延伸解读
令牌效率提升的实际意义
文章指出，通过NVIDIA NIM微服务，AI模型的令牌效率可提升高达5倍。以Llama 3 70B为例，在NVIDIA H100系统上，其吞吐量比现成部署高出5倍。这意味着开发者在相同硬件上能处理更多请求，降低单位计算成本，尤其适合高并发生产环境。
对Hugging Face开发者的影响
Hugging Face平台拥有400万开发者，新服务让他们能通过模型卡上的“Train”和“Deploy”下拉菜单，快速访问NVIDIA加速的推理服务。这简化了从原型到生产的流程，使开发者无需管理底层基础设施即可部署Llama 3、Mistral等大模型。
企业Hub用户的无服务器推理优势
企业Hub用户可利用无服务器推理，获得更高的灵活性并减少基础设施开销。结合NVIDIA NIM的优化性能，企业能在DGX Cloud上以更低的运维负担运行AI模型，同时保持企业级环境的安全与可扩展性。
与训练服务的互补关系
该推理服务与Hugging Face上已有的“Train on DGX Cloud”训练服务相辅相成。开发者可以在同一平台上完成模型的训练和推理部署，形成闭环，从而更高效地实验、测试和迭代尖端AI模型。
Q&A
Hugging Face的新推理服务有什么优势？
该服务将AI模型的令牌效率提高了5倍，帮助开发者快速部署大型语言模型，并优化性能。
NVIDIA NIM微服务是什么？
NVIDIA NIM是一系列优化推理的AI微服务，提供更高的令牌处理效率。
如何在Hugging Face上使用推理服务？
用户可以通过Hugging Face的“Train”和“Deploy”下拉菜单轻松访问推理服务，快速原型设计和部署模型。
NVIDIA DGX Cloud平台的特点是什么？
NVIDIA DGX Cloud专为生成式AI设计，提供可扩展的GPU资源，支持AI开发的每个步骤。
企业Hub用户如何利用无服务器推理？
企业Hub用户可以通过无服务器推理提高灵活性，减少基础设施开销，并优化性能。
Hugging Face推理服务与训练服务有什么关系？
推理服务与Hugging Face上的AI训练服务相辅相成，提供新的实验和部署方式。
