文章阐述Thor芯片在大模型推理中的硬件优势,核心加速器为tcgen05、TMEM和TMA:tcgen05异步执行大矩阵乘加并将结果写入TMEM片上累加器,避免寄存器溢出;TMA异步搬运数据,与计算重叠以提升带宽利用率。GB10支持不完整、算力利用率低,而Thor可走完整通路,Attention Prefill从数百毫秒降至数十毫秒;视觉任务可卸载到专用加速器。Thor T5000 FP4算力达2070T,为GB10的两倍。
完成下面两步后,将自动完成登录并继续当前操作。