NVIDIA Blog
·
领先的推理提供商通过NVIDIA Blackwell上的开源模型将AI成本降低至10倍
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
Baseten、DeepInfra、Fireworks AI和Together AI通过NVIDIA Blackwell平台优化推理堆栈，显著降低各行业的每个token成本。MIT研究表明，基础设施和算法效率每年可将推理成本降低10倍。医疗、游戏和客户服务等领域的公司利用开源模型和NVIDIA Blackwell实现了成本节约和响应时间提升。
🎯
关键要点
- Baseten、DeepInfra、Fireworks AI和Together AI通过NVIDIA Blackwell平台优化推理堆栈，降低各行业的每个token成本。
- MIT研究表明，基础设施和算法效率每年可将推理成本降低10倍。
- 基础设施效率改善tokenomics，类似于高速印刷机的类比，投资AI基础设施可显著提高token输出。
- Baseten、DeepInfra、Fireworks AI和Together AI利用NVIDIA Blackwell平台将每个token的成本降低至NVIDIA Hopper平台的10倍。
- Sully.ai通过Baseten的Model API在医疗领域将推理成本降低90%，响应时间提高65%。
- Latitude在游戏领域通过DeepInfra将每百万token的成本从20美分降低至5美分，实现4倍的成本改善。
- Sentient Labs利用Fireworks AI的推理平台将AI成本降低25-50%。
- Decagon通过Together AI的优化推理堆栈将客户服务的每次语音交互成本降低6倍，响应时间控制在400毫秒以内。
- NVIDIA Blackwell的效率驱动了医疗、游戏和客户服务领域的显著成本节约。
- NVIDIA Rubin平台将进一步整合六个新芯片，提供10倍的性能和10倍的token成本降低。
❓
延伸问答
NVIDIA Blackwell平台如何降低推理成本？
NVIDIA Blackwell平台通过优化推理堆栈，使得各行业的每个token成本降低至NVIDIA Hopper平台的10倍。
Sully.ai在医疗领域的推理成本降低了多少？
Sully.ai通过使用Baseten的Model API，将推理成本降低了90%。
DeepInfra如何帮助游戏行业降低成本？
DeepInfra将每百万token的成本从20美分降低至5美分，实现了4倍的成本改善。
Fireworks AI在推理平台上实现了什么样的成本效率？
Fireworks AI的推理平台使Sentient Labs的成本效率提高了25-50%。
Decagon如何优化客户服务的推理成本？
Decagon通过Together AI的优化推理堆栈，将每次语音交互的成本降低了6倍，响应时间控制在400毫秒以内。
MIT的研究对推理成本的影响是什么？
MIT研究表明，基础设施和算法效率每年可将推理成本降低10倍。
➡️
