量子位
·
英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹
💡
原文中文，约2800字，阅读约需7分钟。
📝
内容提要
英伟达将在GTC大会上推出新推理芯片，首位客户为OpenAI。该芯片基于Groq团队的LPU架构，旨在提升推理效率，以应对市场需求变化。推理市场正在重塑，英伟达面临竞争压力，需迅速响应。
🎯
关键要点
-
英伟达将在GTC大会上发布新推理芯片，首位客户为OpenAI。
-
新芯片基于Groq团队的LPU架构，旨在提升推理效率。
-
英伟达首次在核心AI算力产品线上引入外部架构设计。
-
推理市场正在重塑，英伟达面临竞争压力，需迅速响应。
-
推理需求增长，英伟达需提供更高效的解决方案。
-
LPU架构通过高密度片上SRAM降低延迟与能耗，更适合低延迟推理场景。
-
推理市场重心从训练转向推理，推理调用频率更高、规模更大。
-
OpenAI与Cerebras签署合作协议，推理转向更具性价比的专用芯片。
-
竞争对手如谷歌、亚马逊等也在强化推理专用架构布局。
-
推理阶段追求低延迟生成，GPU架构不适合推理负载。
-
英伟达必须正面回应推理需求暴涨，LPU芯片是其答案。
❓
延伸问答
英伟达的新推理芯片有什么特点？
新推理芯片基于Groq团队的LPU架构，旨在提升推理效率，降低延迟与能耗，更适合低延迟推理场景。
为什么英伟达选择使用LPU而不是GPU？
因为推理阶段需要低延迟生成，LPU架构通过高密度片上SRAM降低数据移动的延迟，更适合推理负载。
OpenAI在英伟达新芯片发布中扮演什么角色？
OpenAI是英伟达新推理芯片的首位客户，参与了这一新技术的首次应用。
推理市场的变化对英伟达有什么影响？
推理市场重心从训练转向推理，英伟达面临竞争压力，需要快速响应市场需求变化。
英伟达为何选择收购Groq团队？
英伟达收购Groq团队是为了整合其核心技术，快速推出新推理芯片以应对市场需求。
推理市场的竞争对手有哪些？
主要竞争对手包括谷歌、亚马逊、Cerebras等，他们也在强化推理专用架构布局。
➡️
