量子位
·
Kimi新论文再次“撞车”DeepSeek，都谈到了长文注意力机制
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
Kimi的新论文提出了一种名为MoBA的长文注意力机制，能够将处理1M长文本的速度提升6.5倍。该机制通过将上下文划分为块，并利用top-k门控机制选择相关信息，从而提高长序列数据的处理效率。MoBA在保持模型性能的同时，支持全注意力与稀疏注意力模式的切换，具有良好的扩展性。
🎯
关键要点
- Kimi的新论文提出了MoBA长文注意力机制，处理1M长文本速度提升6.5倍。
- MoBA通过将上下文划分为块，利用top-k门控机制选择相关信息，提高长序列数据处理效率。
- MoBA支持全注意力与稀疏注意力模式的切换，具有良好的扩展性。
- 传统注意力机制计算复杂度随着序列长度增加而呈平方级增长，限制了长文本处理能力。
- 现有方法如滑动窗口和动态稀疏注意力机制存在局限性，无法有效降低训练成本。
- MoBA通过关注部分键值而非全部，提升了效率，采用MoE的top-k门控机制为每个查询token挑选相关块。
- MoBA设计中包括不关注未来块和当前块因果掩码处理，确保语言生成任务的准确性。
- 细粒度块分割和全注意力混合模式的结合，提升了MoBA的性能和效率。
- 实验结果显示，MoBA在长上下文处理上性能与全注意力模型相当，且计算复杂度优势明显。
- Kimi的研究与DeepSeek的注意力机制研究时间接近，再次引发关注。
➡️
