谷歌TPU全新AI训练性能基准
内容提要
谷歌云在MLPerf Training v6.1中基于Ironwood TPU与英伟达Grace Blackwell GPU发布10项结果,覆盖前沿预训练和首个智能体强化学习基准。8192块Ironwood TPU用1.70分钟达标,扩至4096块效率达96%;640块TPU在智能体RL编码任务中18.02分钟达标,训练芯片等待时间低于3%。A4X Max上256块GB300用31.96分钟达标。
延伸解读
Ironwood 的扩展效率意味着什么
文章提到 8192 块 Ironwood TPU 在 1.70 分钟内达标,且扩展至 4096 块时效率达 96%。这一数字说明在大规模训练中,增加芯片数量并未带来明显的性能线性损失,对于需要横向扩展的前沿预训练任务,高扩展效率有助于控制实际训练时间,但文章未披露具体成本或能耗数据。
智能体强化学习基准的新看点
MLPerf Training v6.1 首次引入智能体强化学习基准。谷歌云用 640 块 Ironwood TPU 在 18.02 分钟内达到编码任务目标精度(0.765 对比 0.69 目标),并强调代码生成与学习同时进行,训练芯片等待时间低于 3%。这表明该基准关注训练流程中计算资源的实际利用率,而不仅是最终精度。
英伟达 GPU 结果的参照意义
在谷歌云 A4X Max 实例上,256 块 NVIDIA GB300 GPU 用 31.96 分钟达到目标质量,同时有五个 A4X 和 A4X Max 提交覆盖智能体 RL 基准。文章将 TPU 与 GPU 结果并列发布,但未直接比较两者在相同芯片数量或任务下的表现,读者需注意不同提交的规模与任务差异,不宜简单换算性能高低。
Q&A
谷歌云在MLPerf Training v6.1中发布了哪些硬件平台的测试结果?
谷歌云发布了基于第七代Ironwood TPU和NVIDIA Grace Blackwell GPU的10项结果,覆盖前沿预训练和首个智能体强化学习基准。
Ironwood TPU在预训练任务中的性能表现如何?
8192块Ironwood TPU在1.70分钟内达到目标模型基准质量,扩展至4096块芯片时效率达96%。
智能体强化学习基准中Ironwood TPU的成绩是什么?
640块Ironwood TPU在18.02分钟内达到目标模型编码基准准确率(0.765,目标0.69),训练芯片等待时间低于3%。
NVIDIA GB300 GPU在谷歌云上的测试结果如何?
在A4X Max实例上,256块NVIDIA GB300 GPU在31.96分钟内达到目标模型基准质量,并有五项A4X和A4X Max提交参与智能体RL基准。
这些测试结果体现了谷歌云怎样的架构设计理念?
结果基于谷歌云AI Hypercomputer架构,反映了芯片、网络和开源软件之间的协同设计。
MLPerf Training v6.1中首次引入了什么新基准?
首次引入了智能体强化学习(RL)基准。