InfoQ
·
Hugging Face扩展无服务器推理选项，新增提供商集成
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
Hugging Face整合了四个无服务器推理提供商，用户可通过API密钥或路由请求轻松切换，提升了推理速度和准确性，优化了开源模型性能。
🎯
关键要点
- Hugging Face整合了四个无服务器推理提供商：Fal、Replicate、SambaNova和Together AI。
- 用户可以通过API密钥或路由请求轻松切换推理提供商，提升推理速度和准确性。
- 集成支持多种模型，包括DeepSeek-R1，并提供统一的推理管理界面。
- 开发者可以通过网站UI、SDK或直接HTTP调用访问这些服务。
- 用户只需修改API调用中的提供商名称即可无缝切换提供商，其他实现保持不变。
- Hugging Face提供了一个路由代理，支持与OpenAI兼容的API。
- SambaNova的首席执行官Rodrigo Liang表示，与Hugging Face的合作将加速推理API，提供更快的推理速度。
- Replicate的创始设计师Zeke Sikelianos称Hugging Face是开源模型权重的事实标准，推动了AI的可及性。
- 快速准确的AI推理对许多应用至关重要，尤其是在测试时间计算和Agentic AI需求增加的情况下。
- 开源模型帮助优化RDU性能，使开发者实现高达10倍的推理速度和更高的准确性。
- 如果用户提供自己的API密钥，费用由推理提供商处理；如果通过Hugging Face路由请求，则按标准提供商费率收费，无额外加价。
➡️
