Hugging Face 推出 NVIDIA NIM 支持的推理即服务
内容提要
Hugging Face宣布推出由NVIDIA NIM提供支持的推理即服务功能，开发人员可通过该服务快速部署大型语言模型，并在生产环境中使用。该服务在NVIDIA DGX Cloud上运行，提供易于访问的计算资源。Hugging Face还与NVIDIA合作，将NVIDIA TensorRT-LLM库集成到其文本生成推理框架中，以提高AI推理性能和可访问性。
延伸解读
服务使用门槛与认证要求
要使用Hugging Face的推理即服务，用户必须拥有企业Hub组织，并使用细粒度的身份验证令牌。这意味着个人开发者或小型团队可能无法直接使用，需要先升级到企业版。此外，服务目前仅支持chat.completions.create和models.list两个API，功能有限，但Hugging Face正在扩展支持更多模型和API。
计费方式与硬件基础
该服务的费用基于每个请求的计算时间，并使用NVIDIA H100 Tensor Core GPU进行计费。这种按需计费模式适合间歇性推理任务，但长期高负载使用可能成本较高。H100 GPU提供强大的加速计算能力，适合大型语言模型的推理，但用户需注意优化请求以减少计算时间，从而控制成本。
与OpenAI API的兼容性
根据Kaggle大师Rohan Paul的分享，该服务的代码与OpenAI API完全兼容，允许开发者使用OpenAI的SDK进行推理。这降低了迁移成本，开发者可以轻松将现有基于OpenAI API的应用切换到Hugging Face的推理服务，同时利用开源模型和NVIDIA加速计算。
技术集成与性能优化
Hugging Face与NVIDIA合作，将TensorRT-LLM库集成到文本生成推理框架中，以提高AI推理性能和可访问性。这一集成有望提升推理速度并降低延迟，使开源模型在生产环境中更具竞争力。此外，Hugging Face还提供在DGX Cloud上进行AI训练的服务，形成从训练到推理的完整解决方案。
Q&A
Hugging Face的推理即服务有什么特点？
Hugging Face的推理即服务允许开发者快速部署大型语言模型，提供优化的计算资源，并在NVIDIA DGX Cloud上运行。
如何使用Hugging Face的推理即服务？
用户需访问企业Hub组织并使用细粒度的身份验证令牌来使用该服务。
Hugging Face推理即服务的费用是如何计算的？
费用基于每个请求的计算时间，使用NVIDIA H100 Tensor Core GPU计费。
目前Hugging Face推理即服务支持哪些API？
目前服务仅支持chat.completions.create和models.list API。
Hugging Face与NVIDIA的合作有什么重要性？
Hugging Face与NVIDIA合作集成了NVIDIA TensorRT-LLM库，以提高推理性能和可访问性。
Hugging Face推理即服务适合哪些开发阶段？
该服务支持AI开发的各个阶段，从原型开发到生产部署。
