小红花·文摘

FlashAttention是一种IO感知的精确注意力算法，通过分块和在线softmax避免物化完整注意力矩阵，减少HBM读写，提升效率并降低显存占用，虽FLOPs仍为O(n²)，但优化了硬件执行路径，使长序列训练更可行。