H100利用率飙升至75%！英伟达亲自下场FlashAttention三代升级

英伟达与FlashAttention-3合作，优化H100芯片，提升训练速度和计算吞吐量。FlashAttention-3通过IO感知优化和分块处理，充分利用Hopper架构特点。引入异步方式、乒乓调度和两阶段GEMM-softmax流水线方案等技术，提高GPU利用率。采用FP8精度、分块量化和非相干处理技术，提高计算精度。在测试中，FlashAttention-3在注意力基准测试和消融实验中表现出色，速度快3-16倍。