检索注意力：通过向量检索加速长上下文大型语言模型推理

BriefGPT - AI 论文速递 · 2024-09-16T00:00:00Z

本研究提出了RetrievalAttention方法，用于解决Transformer模型在处理长上下文时的推理延迟和GPU内存消耗问题。该方法通过在CPU内存中构建近似最近邻搜索索引，利用注意力的动态稀疏特性，降低了推理成本和内存需求，同时保持了模型准确性。检索注意力仅需16GB的GPU内存，显著提高了推理效率。