领先的推理提供商通过NVIDIA Blackwell上的开源模型将AI成本降低至10倍
💡
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
Baseten、DeepInfra、Fireworks AI和Together AI通过NVIDIA Blackwell平台优化推理堆栈，显著降低各行业的每个token成本。MIT研究表明，基础设施和算法效率每年可将推理成本降低10倍。医疗、游戏和客户服务等领域的公司利用开源模型和NVIDIA Blackwell实现了成本节约和响应时间提升。
🎯
关键要点
- Baseten、DeepInfra、Fireworks AI和Together AI通过NVIDIA Blackwell平台优化推理堆栈，降低各行业的每个token成本。
- MIT研究表明，基础设施和算法效率每年可将推理成本降低10倍。
- 基础设施效率改善tokenomics，类似于高速印刷机的类比，投资AI基础设施可显著提高token输出。
- Baseten、DeepInfra、Fireworks AI和Together AI利用NVIDIA Blackwell平台将每个token的成本降低至NVIDIA Hopper平台的10倍。
- Sully.ai通过Baseten的Model API在医疗领域将推理成本降低90%，响应时间提高65%。
- Latitude在游戏领域通过DeepInfra将每百万token的成本从20美分降低至5美分，实现4倍的成本改善。
- Sentient Labs利用Fireworks AI的推理平台将AI成本降低25-50%。
- Decagon通过Together AI的优化推理堆栈将客户服务的每次语音交互成本降低6倍，响应时间控制在400毫秒以内。
- NVIDIA Blackwell的效率驱动了医疗、游戏和客户服务领域的显著成本节约。
- NVIDIA Rubin平台将进一步整合六个新芯片，提供10倍的性能和10倍的token成本降低。
➡️
