Hugging Face 推出 NVIDIA NIM 支持的推理即服务
原文英文,约400词,阅读约需2分钟。发表于: 。Hugging Face has announced the launch of an inference-as-a-service capability powered by NVIDIA NIM. This new service will provide developers easy access to NVIDIA-accelerated inference for...
Hugging Face宣布推出由NVIDIA NIM提供支持的推理即服务功能,开发人员可通过该服务快速部署大型语言模型,并在生产环境中使用。该服务在NVIDIA DGX Cloud上运行,提供易于访问的计算资源。Hugging Face还与NVIDIA合作,将NVIDIA TensorRT-LLM库集成到其文本生成推理框架中,以提高AI推理性能和可访问性。