本文研究FlashAttention的I/O复杂度极限:当快存较大时,FlashAttention已达到最优数据移动阶;当快存较小时,分块矩阵乘法并存储中间矩阵更优,分界点为M=d²。论文利用红蓝卵石游戏和通信复杂度证明下界,并指出最优数据移动不等于最短运行时间,并行、同步等实现因素仍可优化。
完成下面两步后,将自动完成登录并继续当前操作。