InfoQ
·
谷歌发布Ironwood TPU，专为AI推理设计
内容提要
谷歌在Cloud Next 25上发布了第七代Tensor处理单元（TPU）Ironwood，专为推理工作负载设计，支持9216个液冷芯片，具备强大计算能力，能够处理大型语言模型和复杂推理任务，推动主动AI模型的发展。
关键要点
-
谷歌在Cloud Next 25上发布了第七代Tensor处理单元（TPU）Ironwood，专为推理工作负载设计。
-
Ironwood是谷歌迄今为止性能最强、可扩展性最高的定制AI加速器，专门用于推理工作负载。
-
Ironwood支持9216个液冷芯片，连接使用Inter-Chip Interconnect（ICI）网络，是谷歌云AI超计算机架构的关键组成部分。
-
Ironwood能够处理大型语言模型（LLMs）、专家混合（MoEs）和高级推理任务，减少数据移动和延迟。
-
Ironwood提供256芯片和9216芯片配置，9216芯片的计算能力超过El Capitan超级计算机的24倍。
-
Ironwood每个芯片的峰值计算能力为4614 TFLOPS，具有增强的SparseCore加速器，适用于超大嵌入处理。
-
与前一代Trillium相比，Ironwood在功率效率上提高了2倍，具有192 GB的高带宽内存（HBM），1.2 TBps的双向ICI带宽。
-
谷歌DeepMind利用AI加速TPU设计过程，使用AlphaChip方法优化芯片设计。
-
谷歌认为AlphaChip有潜力优化芯片设计的每个阶段，改变定制硬件的芯片设计。
延伸解读
Ironwood TPU的市场潜力
谷歌的Ironwood TPU不仅在技术上具有显著优势，还可能在市场上引发竞争格局的变化。由于谷歌具备强大的基础设施和定制芯片的能力，Ironwood有潜力成为AI硬件市场的重要参与者，甚至可能挑战NVIDIA的主导地位。
AI推理的未来
Ironwood TPU的发布标志着AI推理技术的一个新阶段。谷歌强调其设计旨在支持主动AI模型，这意味着未来的AI系统将能够更高效地生成洞察和解答，推动各行业的智能化进程。
技术优势与应用领域
Ironwood TPU在计算能力和能效方面的提升，使其适用于更广泛的应用场景，包括金融和科学研究等领域。其增强的SparseCore加速器特别适合处理超大嵌入数据，拓展了AI技术的应用边界。
延伸问答
Ironwood TPU的主要用途是什么？
Ironwood TPU专为推理工作负载设计，能够处理大型语言模型和复杂推理任务。
Ironwood TPU与前一代Trillium相比有哪些优势？
Ironwood在功率效率上提高了2倍，内存带宽和计算能力也显著增强。
Ironwood TPU的计算能力如何？
每个Ironwood芯片的峰值计算能力为4614 TFLOPS，9216芯片配置的计算能力超过El Capitan超级计算机的24倍。
谷歌如何利用AI优化TPU设计？
谷歌DeepMind使用名为AlphaChip的AI方法来加速和优化TPU设计，产生超人类的芯片布局。
Ironwood TPU的内存配置是什么？
Ironwood每个芯片配备192 GB的高带宽内存（HBM），是Trillium的6倍。
Ironwood TPU的网络连接方式是什么？
Ironwood通过Inter-Chip Interconnect（ICI）网络连接，支持高带宽和低延迟的通信。
