本文介绍了一种名为SageAttention的高效注意力量化方法，解决了量化方法仅关注线性层的问题。该方法性能超过FlashAttention2和xformers，准确性优于FlashAttention3，证明在不同模型中几乎无损失。

本文介绍了一种名为SageAttention的高效注意力量化方法，解决了量化方法主要集中于线性层优化的问题。SageAttention在性能上超过了FlashAttention2和xformers，并在准确性上优于FlashAttention3，几乎没有影响模型的端到端指标。