超级关注力：近线性时间的长篇长文本关注力
原文中文，约500字，阅读约需2分钟。
📝
内容提要
该文介绍了一种名为HyperAttention的近似注意力机制，用于解决大型语言模型中使用的复杂长上下文所带来的计算挑战。实证结果表明，HyperAttention优于现有方法，在不同长上下文数据集上的实证性能表现良好，能够实现5倍的加速。
🏷️
