谷歌将其TPU系列分为两种以适应智能时代
内容提要
谷歌在Cloud Next上推出了TPU 8t和TPU 8i两款新芯片，分别针对训练和推理进行优化。TPU 8t适合训练，保持3D环形互连，而TPU 8i则提升内存带宽，专注于推理性能。谷歌认为，单一加速器无法同时满足这两种需求，分化是提升性价比的关键。新芯片支持裸金属访问，方便开发者使用。
关键要点
-
谷歌在Cloud Next上推出了TPU 8t和TPU 8i两款新芯片，分别针对训练和推理进行优化。
-
TPU 8t适合训练，保持3D环形互连，使用标准SparseCores加速不规则内存访问模式。
-
TPU 8i专注于推理，采用新的Collectives Acceleration Engine，显著降低全局同步操作的延迟。
-
TPU 8i的网络拓扑采用Dragonfly灵感的Boardfly布局，优化了芯片间的连接。
-
TPU 8i的内存带宽高于TPU 8t，适应了推理工作负载的需求。
-
谷歌声称TPU 8t在训练方面的性价比比Ironwood高出约2.7倍，TPU 8i在推理方面的性价比提高了80%。
-
TPU 8t和8i是首款提供裸金属访问的TPU，方便客户自行管理主机。
-
谷歌还宣布了与TPU 8t和8i配合使用的基础设施更新，包括Virgo网络和Axion N4A等新产品。
延伸问答
TPU 8t和TPU 8i的主要区别是什么？
TPU 8t适合训练，保持3D环形互连，而TPU 8i专注于推理，提升内存带宽并采用新的网络拓扑。
谷歌为何决定将TPU系列分为训练和推理两种芯片？
谷歌认为单一加速器无法同时满足训练和推理的需求，因此分化是提升性价比的关键。
TPU 8i如何优化推理性能？
TPU 8i采用新的Collectives Acceleration Engine，显著降低全局同步操作的延迟，并提高内存带宽。
TPU 8t在训练方面的性价比如何？
谷歌声称TPU 8t在训练方面的性价比比Ironwood高出约2.7倍。
TPU 8i的内存带宽与TPU 8t相比有什么优势？
TPU 8i的内存带宽高于TPU 8t，更适应推理工作负载的需求。
谷歌在TPU 8t和8i中引入了哪些基础设施更新？
谷歌宣布了Virgo网络和Axion N4A等新产品，以支持TPU 8t和8i的使用。
