Jalapeño首批成果展现AI推理领域领先的速度与效率
内容提要
OpenAI自研推理芯片Jalapeño性能显著，每瓦特可处理更多AI任务，延迟更低，无需在吞吐与延迟间取舍。在GPT-OSS、DeepSeek R1及Kimi K2.5等模型上，其每瓦性能提升1.5至1.9倍，端到端延迟降低1.7至3.6倍。芯片设计优化数据移动，并借助AI加速开发与编程。计划年底部署，为多代平台首代。
延伸解读
性能对比的基准与条件
文章中的性能提升数据基于InferenceX基准测试，并与NVIDIA GB200/GB300等系统对比。测试在匹配的用户体验下进行，即保证延迟满足交互需求，同时衡量每瓦特能完成的AI工作量。Jalapeño的额定功率为700瓦，但实测持续功耗不超过550瓦，而对比系统的封装功耗为1200瓦或1400瓦。因此，性能优势部分源于更低的功耗设计，对比时需注意这些前提条件。
架构设计的关键：减少数据移动
Jalapeño的性能提升并非仅靠制程或频率，而是通过芯片、内存、网络和软件的协同设计，重点减少数据移动和通信延迟。语言模型推理分为计算密集的预填充和内存带宽受限的解码阶段，传统系统常在这两个阶段间切换时产生等待。Jalapeño通过将模型状态（如KV缓存）显式放置在本地，并利用大域网络保持整个工作负载在单一连接系统内，从而避免跨芯片数据传输，实现高吞吐和低延迟兼得。
AI辅助芯片设计与编程的潜力
Jalapeño的开发过程中，AI不仅加速了芯片设计（从设计到流片仅用九个月），还用于优化算术电路和编程。其架构被设计为清晰、可预测的编程目标，使AI能够优化任务映射和调度。例如，AI生成的实现代码在选定的注意力机制和混合专家模块上比人工编写的快1.5至1.8倍。这展示了AI在硬件开发中的实际作用，但需注意这些数据仅针对特定模块，并非整体模型性能。
Q&A
Jalapeño芯片在性能上相比现有系统有哪些具体提升？
Jalapeño在峰值吞吐下每瓦特可处理1.5至1.9倍的AI工作量，端到端延迟降低1.7至3.6倍，在高度交互工作负载下性能提升2.1至4.1倍。
Jalapeño芯片是如何实现高吞吐和低延迟的？
Jalapeño通过优化数据移动和通信延迟，将模型状态（包括KV缓存）显式放置在本地，并激活合适的计算、内存和网络组合，使整个工作负载保持在单一连接系统内，从而同时实现高吞吐和低延迟。
AI在Jalapeño芯片的设计和编程中扮演了什么角色？
AI帮助团队在九个月内从设计到流片，优化算术电路，并利用Codex和GPT-Astra将三个开源模型在两个月内优化到高性能，AI生成的实现比人类专家编写的快1.5至1.8倍。
Jalapeño芯片的部署计划是什么？
OpenAI计划在年底前将Jalapeño部署到其计算基础设施中，这是多代平台的第一代，Gen 2正在开发中，Gen 3也在规划中。
Jalapeño芯片在哪些模型上进行了测试？
Jalapeño在GPT-OSS 120B、DeepSeek R1和Kimi K2.5 1T等模型上进行了测试，这些模型包括OpenAI内部和外部开发的模型。
Jalapeño芯片的功耗是多少？
Jalapeño的额定功耗为700瓦，但在测试中持续功耗保持在550瓦或以下。
