InfoQ
·
谷歌发布Ironwood TPU，专为AI推理设计
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
谷歌在Cloud Next 25上发布了第七代Tensor处理单元（TPU）Ironwood，专为推理工作负载设计，支持9216个液冷芯片，具备强大计算能力，能够处理大型语言模型和复杂推理任务，推动主动AI模型的发展。
🎯
关键要点
- 谷歌在Cloud Next 25上发布了第七代Tensor处理单元（TPU）Ironwood，专为推理工作负载设计。
- Ironwood是谷歌迄今为止性能最强、可扩展性最高的定制AI加速器，专门用于推理工作负载。
- Ironwood支持9216个液冷芯片，连接使用Inter-Chip Interconnect（ICI）网络，是谷歌云AI超计算机架构的关键组成部分。
- Ironwood能够处理大型语言模型（LLMs）、专家混合（MoEs）和高级推理任务，减少数据移动和延迟。
- Ironwood提供256芯片和9216芯片配置，9216芯片的计算能力超过El Capitan超级计算机的24倍。
- Ironwood每个芯片的峰值计算能力为4614 TFLOPS，具有增强的SparseCore加速器，适用于超大嵌入处理。
- 与前一代Trillium相比，Ironwood在功率效率上提高了2倍，具有192 GB的高带宽内存（HBM），1.2 TBps的双向ICI带宽。
- 谷歌DeepMind利用AI加速TPU设计过程，使用AlphaChip方法优化芯片设计。
- 谷歌认为AlphaChip有潜力优化芯片设计的每个阶段，改变定制硬件的芯片设计。
❓
延伸问答
Ironwood TPU的主要用途是什么？
Ironwood TPU专为推理工作负载设计，能够处理大型语言模型和复杂推理任务。
Ironwood TPU与前一代Trillium相比有哪些优势？
Ironwood在功率效率上提高了2倍，内存带宽和计算能力也显著增强。
Ironwood TPU的计算能力如何？
每个Ironwood芯片的峰值计算能力为4614 TFLOPS，9216芯片配置的计算能力超过El Capitan超级计算机的24倍。
谷歌如何利用AI优化TPU设计？
谷歌DeepMind使用名为AlphaChip的AI方法来加速和优化TPU设计，产生超人类的芯片布局。
Ironwood TPU的内存配置是什么？
Ironwood每个芯片配备192 GB的高带宽内存（HBM），是Trillium的6倍。
Ironwood TPU的网络连接方式是什么？
Ironwood通过Inter-Chip Interconnect（ICI）网络连接，支持高带宽和低延迟的通信。
➡️
