通过正交内存实现线性关注

HyperAttention是用于解决大型语言模型计算挑战的近似注意力机制，具有模块化设计，能够与其他底层实现集成。通过使用局部敏感哈希来识别大条目，HyperAttention比现有方法更快，能够加快推理时间并提高困惑度。对于更大的上下文长度，HyperAttention能够实现5倍的加速。