从硬件加速器的角度看,为什么 Thor T5000 是比 GB10 更好的 AI 推理芯片?
内容提要
文章阐述Thor芯片在大模型推理中的硬件优势,核心加速器为tcgen05、TMEM和TMA:tcgen05异步执行大矩阵乘加并将结果写入TMEM片上累加器,避免寄存器溢出;TMA异步搬运数据,与计算重叠以提升带宽利用率。GB10支持不完整、算力利用率低,而Thor可走完整通路,Attention Prefill从数百毫秒降至数十毫秒;视觉任务可卸载到专用加速器。Thor T5000 FP4算力达2070T,为GB10的两倍。
延伸解读
硬件加速器组合决定推理效率
文章指出,Thor 在大模型推理中的优势并非单纯来自算力数字,而是 tcgen05、TMEM 和 TMA 三者协同:tcgen05 异步执行大矩阵乘加,TMEM 作为片上累加器避免寄存器溢出,TMA 异步搬运数据并与计算重叠。GB10 在这些路径上支持不完整,导致同样代码只能走低效通路。这提示读者,评估推理芯片时应关注硬件加速器是否形成完整通路,而非只看峰值算力。
TMEM 缓解大 tile 的寄存器压力
文章强调,矩阵乘的累加结果体积很大,传统上放在寄存器中,寄存器不足就会 spill 到 Shared Memory 或显存,造成效率暴跌。TMEM 是专为 Tensor Core 设计的片上累加器,每 SM 约 256 KB,tcgen05 可直接读写。没有 TMEM 时,大 tile 的 GEMM 被迫缩小 tile 或频繁搬运。因此,Thor 在 Attention/MoE 上能跑出更高有效带宽,关键之一就是 TMEM 减少了数据来回搬运的开销。
TMA 与更大 Shared Memory 提升带宽利用率
文章说明,TMA 是专用异步拷贝引擎,负责将大块 tensor 从全局内存搬到 Shared Memory,几乎不占用 CUDA Core。Thor 的 Shared Memory 容量更高(约 228 KB/SM),可一次装下更大 tile,使计算与搬运真正重叠。相比之下,GB10 上 TMA/multicast 支持不完整,很多场景只能用普通 load 指令,搬运和计算互相抢资源,带宽利用率难以提升。这解释了为何数据搬运效率也是推理性能的重要变量。
视觉任务卸载带来系统级收益
文章提到,纯文本 LLM 几乎用不到 Thor 的视觉专用加速器,但当模型是视觉-语言模型或需要同时跑相机流时,这些任务可从 GPU 卸下,让 GPU 专注跑 Transformer,从而降低整体系统延迟和功耗。文章还称 Thor T5000 的 FP4 算力达 2070T,为 GB10 的两倍。读者应注意,这一对比来自文章表述,实际表现仍取决于软件栈是否完整支持相关加速器通路。
Q&A
Thor T5000 相比 GB10 在 AI 推理上主要强在哪里?
Thor T5000 拥有完整的 tcgen05、TMEM 和 TMA 硬件加速通路,而 GB10 对这些支持不完整。因此 Thor 能高效执行大矩阵乘加,避免寄存器溢出,并实现计算与数据搬运重叠,从而大幅提升算力利用率和推理速度。
tcgen05 指令是如何加速大模型推理的?
tcgen05 是专用的 Tensor Core 指令,可异步执行大矩阵乘加(UMMA),发射后计算单元自主运行,主线程可并行处理其他任务。累加结果直接写入 TMEM 片上存储,避免占用有限寄存器,从而减少数据搬运开销。
TMEM 在矩阵运算中起什么作用?为什么重要?
TMEM 是专为 Tensor Core 设计的片上累加器存储(每 SM 约 256 KB),用于存放矩阵乘的累加结果(C 矩阵)。没有 TMEM 时,大 tile 的 GEMM 会因寄存器不足而缩小 tile 或频繁 spill,导致效率暴跌;TMEM 直接读写避免了这一问题。
TMA 如何提升显存带宽利用率?
TMA 是专用异步拷贝引擎,负责将大块 tensor 从全局内存搬到共享内存,几乎不占用 CUDA Core。Thor 的共享内存容量更高(约 228 KB/SM),可一次装下更大 tile,实现计算与搬运重叠,从而更充分地利用显存带宽。
Thor T5000 的 FP4 算力具体是多少?比 GB10 强多少?
Thor T5000 的 FP4 算力达到 2070T,是 GB10 的两倍。
除了大模型推理,Thor T5000 在视觉任务上有什么优势?
Thor T5000 可将视觉任务卸载到专用加速器,让 GPU 专注运行 Transformer,从而降低整体系统延迟和功耗。其超强的视觉并行处理能力也使其在 AI 摄像头等场景中全面优于 GB10。