Flash Attention 4是一种高效的GPU算法，通过数据流管道优化矩阵乘法，利用在线softmax和循环融合降低计算复杂度。该算法在处理大规模数据时有效利用硬件，尽管实现复杂且难以调试。未来将探讨如何简化和提高设计的可组合性。

2025年，Google DeepMind的AlphaEvolve以48次标量乘法打破了1969年Strassen的矩阵乘法纪录。它不仅优化了矩阵运算，还解决了67个数学问题，展示了AI在数学领域的原创性和自我改进能力，预示着AI驱动的科学新时代的到来。

Softmax通过两步将分数转化为概率分布：首先取指数以确保分数为正，然后进行归一化以得到权重。转置操作QKᵀ确保查询和键的相似度计算顺利进行。

本文介绍了在NVIDIA Blackwell上优化矩阵乘法内核的过程，重点在于集群启动控制（CLC）优化。通过使用持久内核和调度器，消除了共享内存和障碍初始化的开销，性能提升15%，达到1772 TFLOPs，超越当前的SOTA。此外，探讨了通过块交换提高L2缓存命中率，从而实现更高效的调度和性能。

本文介绍了七个使用NumPy加速数值计算的技巧，包括：用向量化操作替代循环、利用广播机制进行高效算术运算、使用np.where()进行条件逻辑、使用@进行矩阵乘法、利用np.dot()计算内积、使用np.random快速生成随机数据，以及用np.asarray()避免内存开销。这些技巧能显著提高大规模数据集的计算效率。

本文探讨了在NVIDIA Blackwell GPU上通过2SM技术和流水线优化矩阵乘法性能，达到360.2 TFLOPs，接近85%的最先进水平。采用多播和2xSM MMA优化共享内存，减少数据冗余，并通过流水线技术提升计算与内存传输的重叠，最终实现1429 TFLOPs，达到81%的目标。

本文探讨了Nvidia Blackwell GPU架构下的矩阵乘法优化，采用共享内存和循环分块技术，性能提升超过50倍。通过利用Tensor Memory和新指令集tcgen05.mma，进一步提高计算效率。尽管取得显著进展，但仍未达到cuBLAS的性能水平，后续将继续优化。

本系列博客将展示如何在Nvidia Blackwell GPU上编写高性能矩阵乘法内核，力求达到或超越cuBLAS的性能。第一部分介绍矩阵乘法的重要性及其在大型语言模型中的应用，并用Mojo语言实现简单的矩阵乘法。后续部分将逐步优化内核性能，利用Blackwell的新硬件指令。

Bibek Bhattarai在英特尔担任AI技术负责人，介绍了第四代Xeon处理器中的AMX（高级矩阵扩展）。AMX通过优化矩阵乘法，特别适用于深度学习工作负载，利用低精度计算（如bf16和int8）提升性能并减少内存带宽限制。使用AMX时需确保CPU支持并配置相应指令集。

谷歌DeepMind的AlphaEvolve AI系统打破了56年的矩阵乘法记录，发现了更高效的算法。该系统与Gemini LLMs合作，优化数据中心，提高计算效率，并在多个数学问题上取得突破，推动材料科学和药物发现等领域的发展。

本文介绍了在Triton中实现矩阵乘法的方法，并进行了L2缓存优化。通过矩阵分块和利用快速的SRAM，减少对慢速DRAM的访问，从而显著提高性能。同时，优化L2缓存的使用，确保相邻线程共享数据，进一步提升计算效率。文中还提供了完整的Triton代码示例，以帮助读者理解实现过程。

DeepGEMM 是一个针对 FP8 通用矩阵乘法优化的库，支持普通和混合专家（MoE）分组 GEMM。它采用即时编译（JIT），无需预编译，能够根据设备动态调整代码，提高计算效率。DeepGEMM 设计简洁，核心代码约 300 行，特别适合现代 AI 计算，尤其在高效推理和低功耗场景中表现突出。