内容提要
OpenAI发布首款自研推理芯片Jalapeño,在InferenceX基准测试中,其峰值吞吐量和延迟优于商业系统,并兼容多种模型。通过整合芯片、软件和硬件,OpenAI提升效率并降低成本,同时构建多元化供应商组合以优化性能与价格。效率提升带来更多使用需求,形成技术、经济与投资的良性循环,推动持续创新。
延伸解读
Jalapeño芯片的实测表现
文章首次公布了自研推理芯片Jalapeño在InferenceX基准上的实测结果。在GPT-OSS 120B模型下,其每千瓦峰值吞吐量更高,token延迟更低,优于对比的商业系统。此外,在DeepSeek R1和Kimi K2上也有强劲表现,说明其优势不限于单一模型家族。这些数据为OpenAI的芯片能力提供了初步验证,但基准测试的具体条件和对比对象未详细说明,读者需注意其适用范围。
多元化供应商组合的策略
OpenAI的供应商组合包括微软、NVIDIA、AWS、AMD、Broadcom、Cerebras、CoreWeave、Oracle、SB Energy和SoftBank等。文章强调,不同供应商在不同维度(如云基础设施、加速计算、低延迟推理、数据中心和能源)各有优势。通过主动管理组合,OpenAI旨在保持性能与成本的平衡,并保留选择权以应对市场变化。这种策略有助于降低对单一供应商的依赖,但具体如何分配工作负载并未详述。
效率提升的经济效应
文章指出,效率提升不仅降低成本,还可能通过杰文斯悖论增加总需求。例如,GPT-5.6 Sol在编码任务中比另一领先模型少用54%的输出token,意味着更低的成本和更快的响应。这种改进使更多工作在经济上可行,如为每位客户提供定制分析或审查每份合同。然而,文章未提供具体成本数据或客户案例,读者应谨慎看待其经济影响的普遍性。
Q&A
OpenAI自研推理芯片Jalapeño在InferenceX基准测试中的表现如何?
在InferenceX基准测试中,使用GPT-OSS 120B模型,Jalapeño的峰值吞吐量(每千瓦)和token延迟均优于对比的商业系统,并且在DeepSeek R1和Kimi K2上也表现强劲。
OpenAI的芯片策略是什么?为什么既要自研芯片又要与多家供应商合作?
OpenAI的策略是“构建广度,拥有杠杆”,即通过自研芯片(如Jalapeño)获得对模型运行和成本的控制,同时与多家供应商(如微软、英伟达、AWS、AMD等)合作,以保持选择多样性,优化性能与成本,并适应不同工作负载的需求。
OpenAI如何通过全栈技术提升效率并降低成本?
OpenAI通过整合芯片、软件、硬件和模型开发,实现系统级优化,提高吞吐量、降低延迟和能耗,从而降低成本。例如,GPT-5.6 Sol在推理时使用更少的输出token,提高了效率。
什么是杰文斯悖论?OpenAI如何利用它创造经济价值?
杰文斯悖论指效率提升导致需求增加,从而创造更多经济活动。OpenAI通过提高智能的效率和降低成本,使更多应用变得经济可行,从而扩大使用量,创造新的经济价值。
OpenAI的Project Camellia是什么?它有哪些特点?
Project Camellia是OpenAI在乔治亚州的数据中心项目,旨在围绕客户工作负载设计设施,同时创造就业、支持当地企业、覆盖基础设施和能源成本、通过闭环系统节约用水,并接受年度独立审计。
OpenAI如何管理其供应商组合以优化性能和价格?
OpenAI积极管理供应商组合,根据工作负载需求选择最优系统,在能力关键时使用高端系统,在规模重要时优化效率,通过保持选择多样性来确保最佳性能价格比,并适应市场变化。