CUDA线程块执行顺序会影响L2缓存命中与GEMM性能。文章介绍了线性、分组2D面板、Morton和异或等swizzle算法，并用Triton进行基准测试。结果显示，预测的缓存命中率与实际吞吐量几乎不相关，列主序明显慢于行主序，原因可能在于DRAM访问模式等底层因素。结论是应针对具体配置实测，而非依赖缓存命中率预测。

GEMM（通用矩阵乘）是深度学习中的关键计算。通过优化实现，从朴素实现到共享内存和寄存器分块，显著提高了算术强度。寄存器分块的性能达到6375 GFLOP/s，接近FP32峰值的39%。未来的优化方向包括向量化、预取和更大的tile设计。

CUTLASS 是 NVIDIA 开源的 CUDA C++ 模板库，旨在优化 GEMM（矩阵乘法）性能。它将 GEMM 拆分为五层结构，支持多种精度和形状的配置。通过模板化设计，CUTLASS 提供高性能的可复用组件，简化布局管理。CuTe 作为统一的布局代数，提升了编程的灵活性和可维护性。

MMA（矩阵乘法和累加）是GEMM的核心操作。CuTe提供API以配置MMA原子和瓦片，支持更大规模的问题解决。本文讨论了CuTe的瓦片MMA配置、布局及API示例，展示了如何优化性能，通过静态共享内存和线程划分来实现。

Triton 是一种基于 Python 的编程语言和编译器，专为高效编写 DNN 计算内核而设计，能够在现代 GPU 上运行，支持分组 GEMM 内核，并通过静态调度实现高吞吐量。

cuBLAS GEMM API对输入输出矩阵的存储格式有严格要求。若矩阵为列主序格式，可直接使用；若为行主序格式，设置参数时易出错。本文讨论了矩阵转置与列主序存储的关系，以及在不同情况下如何使用cuBLAS GEMM API。

Apache TVM 是一个支持 CPU 和 GPU 的深度学习编译框架，提供抽象接口和优化算法调度以提升性能。教程展示了如何通过分块和向量化等技术优化矩阵乘法，显著提高计算速度。用户可通过简单代码实现高效性能，建议自行测试。

OpenGeMM是一种新型开放源代码加速平台，旨在解决深度神经网络在资源受限边缘设备上的部署问题。该平台通过参数化的Chisel编码GeMM加速器、轻量级RISC-V处理器和紧耦合的多银行临时存储器，实现了高达99.34%的硬件利用率，吞吐量提升3.58至16.40倍，系统效率可达4.68 TOPS/W。

本研究解决了低精度应用中计算误差显著的问题，提出了一种低秩残差量化矩阵乘法（LRQMM）方法，通过残差补偿引入低秩近似。实验结果表明，LRQMM能将直接量化矩阵乘法的误差降低1到2个数量级，同时在处理大规模矩阵时，计算速度仅降低约20%。

该文汇总多项光子神经网络加速器研究，包括可重构微环CNN加速器、毫米波天线阵列强化学习优化、微环谐振器储备池计算物理效应分析，以及HEANA混合模拟光学加速器、光学随机计算加速器、M3ICRO可编程光子张量芯片、抗噪硅光加速器、基于RNS的Mirage训练加速器和模拟ReRAM跨栅设计，这些研究均显著提升了速度与能效。

该文介绍了一种使用M2架构的机器学习模型，能够在序列长度和模型维度上进行扩展，从而实现更长的上下文和更好的性能。该模型在非因果伯特模型、ViT图像分类和因果GPT模型三个领域展现出良好的性能。