Hugging Face宣布推出由NVIDIA NIM提供支持的推理即服务功能,开发人员可通过该服务快速部署大型语言模型,并在生产环境中使用。该服务在NVIDIA DGX Cloud上运行,提供易于访问的计算资源。Hugging Face还与NVIDIA合作,将NVIDIA TensorRT-LLM库集成到其文本生成推理框架中,以提高AI推理性能和可访问性。
完成下面两步后,将自动完成登录并继续当前操作。