基于 Strassen 与 LCMA 低复杂度矩阵乘,腾讯 FalconGEMM 探索超越硬件峰值的矩阵乘优化

基于 Strassen 与 LCMA 低复杂度矩阵乘,腾讯 FalconGEMM 探索超越硬件峰值的矩阵乘优化

💡 原文中文,约5900字,阅读约需14分钟。
📝

内容提要

面对 cuBLAS 等成熟算子库已经将矩阵乘性能推至接近硬件峰值、传统 Kernel 级优化空间日益收窄的问题,团队重新从算法复杂度入手,以 Strassen、AlphaTensor 等低复杂度矩阵乘算法为基础,构建统一的 LCMA(Low-Complexity Matrix Algorithms)框架,并结合 QDSL、算子融合、Persistent Kernel、细粒度调度与 Cost...

🏷️

标签

➡️

继续阅读