量子位
·
英伟达放弃GPU上LPU：新推理芯片被曝Groq即买即用，OpenAI第一个吃螃蟹
内容提要
英伟达将在GTC大会上推出新推理芯片，首位客户为OpenAI。该芯片基于Groq团队的LPU架构，旨在提升推理效率，以应对市场需求变化。推理市场正在重塑，英伟达面临竞争压力，需迅速响应。
关键要点
-
英伟达将在GTC大会上发布新推理芯片，首位客户为OpenAI。
-
新芯片基于Groq团队的LPU架构，旨在提升推理效率。
-
英伟达首次在核心AI算力产品线上引入外部架构设计。
-
推理市场正在重塑，英伟达面临竞争压力，需迅速响应。
-
推理需求增长，英伟达需提供更高效的解决方案。
-
LPU架构通过高密度片上SRAM降低延迟与能耗，更适合低延迟推理场景。
-
推理市场重心从训练转向推理，推理调用频率更高、规模更大。
-
OpenAI与Cerebras签署合作协议，推理转向更具性价比的专用芯片。
-
竞争对手如谷歌、亚马逊等也在强化推理专用架构布局。
-
推理阶段追求低延迟生成，GPU架构不适合推理负载。
-
英伟达必须正面回应推理需求暴涨，LPU芯片是其答案。
延伸解读
推理市场的转变
随着AI应用的普及，推理市场的需求正在迅速增长，推理的调用频率和规模都在扩大。这一变化促使英伟达必须快速响应，推出更高效的推理解决方案，以应对来自竞争对手的压力。
LPU架构的优势
Groq的LPU架构通过高密度片上SRAM降低了数据传输的延迟和能耗，更适合低延迟推理场景。这一设计使得推理速度理论上可比GPU快100倍，显示出其在推理任务中的潜在优势。
竞争对手的崛起
英伟达面临来自谷歌、亚马逊等公司的激烈竞争，这些公司正在强化推理专用架构的布局。OpenAI与Cerebras的合作也表明，市场正在向更具性价比的专用芯片转移，英伟达需要警惕这一趋势。
延伸问答
英伟达的新推理芯片有什么特点？
新推理芯片基于Groq团队的LPU架构，旨在提升推理效率，降低延迟与能耗，更适合低延迟推理场景。
为什么英伟达选择使用LPU而不是GPU？
因为推理阶段需要低延迟生成，LPU架构通过高密度片上SRAM降低数据移动的延迟，更适合推理负载。
OpenAI在英伟达新芯片发布中扮演什么角色？
OpenAI是英伟达新推理芯片的首位客户，参与了这一新技术的首次应用。
推理市场的变化对英伟达有什么影响？
推理市场重心从训练转向推理，英伟达面临竞争压力，需要快速响应市场需求变化。
英伟达为何选择收购Groq团队？
英伟达收购Groq团队是为了整合其核心技术，快速推出新推理芯片以应对市场需求。
推理市场的竞争对手有哪些？
主要竞争对手包括谷歌、亚马逊、Cerebras等，他们也在强化推理专用架构布局。
