量子位
·
英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
英伟达将在GTC大会上推出新推理芯片，首位客户为OpenAI。该芯片基于Groq团队的LPU架构，旨在提升推理效率，以应对市场需求变化。推理市场正在重塑，英伟达面临竞争压力，需迅速响应。
🎯
关键要点
- 英伟达将在GTC大会上发布新推理芯片，首位客户为OpenAI。
- 新芯片基于Groq团队的LPU架构，旨在提升推理效率。
- 英伟达首次在核心AI算力产品线上引入外部架构设计。
- 推理市场正在重塑，英伟达面临竞争压力，需迅速响应。
- 推理需求增长，英伟达需提供更高效的解决方案。
- LPU架构通过高密度片上SRAM降低延迟与能耗，更适合低延迟推理场景。
- 推理市场重心从训练转向推理，推理调用频率更高、规模更大。
- OpenAI与Cerebras签署合作协议，推理转向更具性价比的专用芯片。
- 竞争对手如谷歌、亚马逊等也在强化推理专用架构布局。
- 推理阶段追求低延迟生成，GPU架构不适合推理负载。
- 英伟达必须正面回应推理需求暴涨，LPU芯片是其答案。
➡️
