Ironwood：谷歌首款专为推理时代设计的TPU
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
在Google Cloud Next 25上，谷歌推出了第七代TPU Ironwood，专为推理设计，具备9261个液冷芯片，提供强大性能和能效，显著提升AI工作负载处理效率，满足未来AI需求。
🎯
关键要点
- 在Google Cloud Next 25上，谷歌推出了第七代TPU Ironwood，专为推理设计。
- Ironwood具备9261个液冷芯片，提供强大性能和能效，显著提升AI工作负载处理效率。
- Ironwood支持大规模推理AI模型，能够主动生成洞察和解释。
- Ironwood的设计旨在满足复杂计算和通信需求，特别是大型语言模型和专家混合模型。
- Ironwood提供256芯片和9216芯片两种配置，支持超过24倍于世界最大超级计算机的计算能力。
- 每个芯片的峰值计算能力为4614 TFLOPs，代表了AI能力的重大飞跃。
- Ironwood的内存和网络架构确保在大规模下始终提供最佳性能。
- Ironwood的SparseCore增强了对超大嵌入的处理能力，适用于金融和科学领域。
- Pathways软件栈使得在多个TPU芯片之间进行高效分布式计算变得简单。
- Ironwood的性能提升和能效关注使得AI工作负载更具成本效益，功耗效率是Trillium的两倍。
- Ironwood的高带宽内存容量达到192 GB，是Trillium的6倍，支持处理更大模型和数据集。
- Ironwood的ICI带宽提升至1.2 Tbps，促进芯片间的快速通信，支持大规模分布式训练和推理。
- Ironwood的突破性进展使得客户能够以最高性能和最低延迟处理AI工作负载，满足计算需求的快速增长。
➡️
