BriefGPT - AI 论文速递 · 2025-02-11T00:00:00Z

LASP-2: Rethinking Sequence Parallelism of Linear Attention and Its Hybrid Methods

📝

内容提要

本研究提出LASP-2序列并行方法，优化线性注意力的右乘特性，显著提升长序列训练的通信和计算并行性，训练速度比LASP快15.2%，比环形注意力快36.6%。

🏷️

标签

LASP-2 并行性 线性注意力 训练速度 长序列