InfoQ
·
谷歌发布Ironwood TPU，专为AI推理设计
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
谷歌在Cloud Next 25上发布了第七代Tensor处理单元（TPU）Ironwood，专为推理工作负载设计，支持9216个液冷芯片，具备强大计算能力，能够处理大型语言模型和复杂推理任务，推动主动AI模型的发展。
🎯
关键要点
- 谷歌在Cloud Next 25上发布了第七代Tensor处理单元（TPU）Ironwood，专为推理工作负载设计。
- Ironwood是谷歌迄今为止性能最强、可扩展性最高的定制AI加速器，专门用于推理工作负载。
- Ironwood支持9216个液冷芯片，连接使用Inter-Chip Interconnect（ICI）网络，是谷歌云AI超计算机架构的关键组成部分。
- Ironwood能够处理大型语言模型（LLMs）、专家混合（MoEs）和高级推理任务，减少数据移动和延迟。
- Ironwood提供256芯片和9216芯片配置，9216芯片的计算能力超过El Capitan超级计算机的24倍。
- Ironwood每个芯片的峰值计算能力为4614 TFLOPS，具有增强的SparseCore加速器，适用于超大嵌入处理。
- 与前一代Trillium相比，Ironwood在功率效率上提高了2倍，具有192 GB的高带宽内存（HBM），1.2 TBps的双向ICI带宽。
- 谷歌DeepMind利用AI加速TPU设计过程，使用AlphaChip方法优化芯片设计。
- 谷歌认为AlphaChip有潜力优化芯片设计的每个阶段，改变定制硬件的芯片设计。
➡️
