在《v5的诞生》第12集中，开发者发现数据可视化图表存在错误，技能数据被错误标记。经过调查，问题源于数据继承关系。团队决定优化仪表板，增加切片功能，而不编写新代码。同时，他们决定不构建新的深度观察室，因为基础设施即将更新。最终，通过删除一个云连接的功能，增强了系统的安全性和可靠性。

2025年，Google DeepMind的AlphaEvolve以48次标量乘法打破了1969年Strassen的矩阵乘法纪录。它不仅优化了矩阵运算，还解决了67个数学问题，展示了AI在数学领域的原创性和自我改进能力，预示着AI驱动的科学新时代的到来。

本文介绍了在NVIDIA Blackwell上优化矩阵乘法内核的过程，重点在于集群启动控制（CLC）优化。通过使用持久内核和调度器，消除了共享内存和障碍初始化的开销，性能提升15%，达到1772 TFLOPs，超越当前的SOTA。此外，探讨了通过块交换提高L2缓存命中率，从而实现更高效的调度和性能。

本文探讨了在NVIDIA Blackwell GPU上通过2SM技术和流水线优化矩阵乘法性能，达到360.2 TFLOPs，接近85%的最先进水平。采用多播和2xSM MMA优化共享内存，减少数据冗余，并通过流水线技术提升计算与内存传输的重叠，最终实现1429 TFLOPs，达到81%的目标。

本文探讨了Nvidia Blackwell GPU架构下的矩阵乘法优化，采用共享内存和循环分块技术，性能提升超过50倍。通过利用Tensor Memory和新指令集tcgen05.mma，进一步提高计算效率。尽管取得显著进展，但仍未达到cuBLAS的性能水平，后续将继续优化。

本系列博客将展示如何在Nvidia Blackwell GPU上编写高性能矩阵乘法内核，力求达到或超越cuBLAS的性能。第一部分介绍矩阵乘法的重要性及其在大型语言模型中的应用，并用Mojo语言实现简单的矩阵乘法。后续部分将逐步优化内核性能，利用Blackwell的新硬件指令。

本文介绍了在Triton中实现矩阵乘法的方法，并进行了L2缓存优化。通过矩阵分块和利用快速的SRAM，减少对慢速DRAM的访问，从而显著提高性能。同时，优化L2缓存的使用，确保相邻线程共享数据，进一步提升计算效率。文中还提供了完整的Triton代码示例，以帮助读者理解实现过程。

我开发了一个简单的计算器，支持乘法和平方根等功能。期待未来的新项目。

DeepGEMM 是一款开源的 FP8 GEMM 库，支持密集型和专家混合计算，在 Hopper GPU 上可实现超过 1350 TFLOPS 的性能。该库代码简洁，仅有 300 行，适合学习 FP8 矩阵乘法。DeepSeek 计划在 5 月前发布新一代 R2 模型，以提升代码生成能力。

研究团队发现，通过“递归式自我提升”方法，Transformer模型在多位数乘法上显著提高了准确度，解决了长度泛化问题。实验表明，经过自我改进后，模型在9位数乘法上几乎完美，10位数乘法表现良好。