高召回率大约前 k 个预估用于高效 LLM 推理
内容提要
本文综述大模型高效推理与压缩技术，包括：分层循环编解码器降低训练存储；简化结构、KV缓存提升吞吐；HiFi仅微调关键注意力头；TT-Rec与MEM-REC压缩嵌入表；FlashDecoding++加速推理；闪存存储扩展参数容量；re-ranker反馈提升检索召回；摘要与语义压缩减少令牌；INT4量化加速CPU推理。
延伸解读
分层循环编解码器：降低训练存储需求
文章提出一种基于分层循环编码器解码器结构的模型，通过采样softmax估计开发训练算法，无需高频解码器即可训练整个模型。这显著降低了自回归模型训练的存储需求，并改进了总训练时间。对于需要训练大模型的团队，该方法可能减少硬件投入，但需注意其具体实现复杂度和适用场景。
推理优化：从结构简化到硬件加速
文章涵盖多种推理优化技术：简化模型结构、融合操作、段落KV缓存策略，在Intel GPU上实现高达7倍令牌延迟降低和27倍吞吐量提升；FlashDecoding++通过异步softmax等技术，在NVIDIA和AMD GPU上分别实现最高4.86倍和2.18倍加速。这些方案针对不同硬件，读者可根据自身部署环境选择。
参数高效微调与嵌入压缩
HiFi方法仅微调关键注意力头，使用PageRank搜索显著头，在GLUE上达到先进性能；TT-Rec利用Tensor Train分解压缩嵌入表，在Kaggle和Terabyte数据集上实现117倍和112倍压缩且无精度损失；MEM-REC用布隆过滤器和哈希编码分类特征，以较小嵌入表替代传统大表。这些技术有助于降低内存占用和计算成本。
存储扩展与检索增强
通过闪存存储模型参数，结合“窗口化”和“行列捆绑”技术，模型可在两倍DRAM容量下运行，CPU和GPU推理速度分别提升4-5倍和20-25倍。检索方面，利用re-ranker反馈提高召回率，摘要压缩减少65%检索令牌并提升0.3%准确性，语义压缩减少20%令牌但损失1.6%准确性。这些方法扩展了LLM在有限内存设备上的应用。
Q&A
如何降低大语言模型训练的存储需求？
本文提出了一种基于分层循环编码器解码器结构的模型，通过采样 softmax 估计开发训练算法，可以在不需要高频解码器的情况下训练整个模型，显著降低了自回归模型训练的存储需求并改进了总的训练时间。
有哪些方法可以提升大语言模型推理的吞吐量？
可以通过简化模型结构、融合数据移动和逐元素操作、使用段落 KV 缓存策略等方法降低系统延迟并提高吞吐量。在 Intel GPU 上，相对于标准 HuggingFace 实现，能够实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。
HiFi 微调方法是什么？它有什么效果？
HiFi 是一种参数高效的微调方法，只微调与特定任务高度相关的信息丰富且高度相关的注意力头。它使用 PageRank 算法搜索显著的注意力头，在 GLUE 基准测试中获得了先进的性能。
如何压缩推荐模型中的嵌入表？
有两种方法：1. 使用 Tensor Train 分解的 TT-Rec，在 Kaggle 和 Terabyte 数据集上实现了 117 倍和 112 倍的模型大小压缩，且没有准确性或训练时间开销。2. MEM-REC 基于布隆过滤器和哈希方法，用较小的嵌入表取代传统的大型嵌入表，提供高质量的个性化推荐并提高嵌入延迟。
FlashDecoding++ 是什么？它有什么优势？
FlashDecoding++ 是一个支持主流 LLM 和硬件后端的快速 LLM 推理引擎，通过引入异步 softmax、平坦 GEMM 优化和启发式数据流等技术，相较于 Hugging Face 实现，在 NVIDIA 和 AMD GPU 上实现了最高 4.86 倍和 2.18 倍的加速，在主流 LLMs 上平均实现了 1.37 倍的速度提升。
如何利用闪存扩展大语言模型的参数容量？
通过使用闪存将模型参数存储在 DRAM 之外，并采用两种技术：1. “窗口化”通过重新使用已激活的神经元来减少数据传输；2. “行列捆绑”利用闪存的顺序数据访问能力来增加数据块大小。这些方法使得模型能够在可用 DRAM 容量的两倍大小的情况下运行，并在与传统加载方法相比，CPU 和 GPU 分别实现 4-5 倍和 20-25 倍的推理速度提升。
如何提高检索召回率？
本文提出了利用轻量级的推理，将 re-ranker 的命中率反馈给 retriever 的方法，从而提高检索召回率。实验证明，此方法在多个领域、语言和模态下均明显提高了检索召回率。
文本压缩有哪些方法？它们的效果如何？
有两种方法：摘要压缩和语义压缩。摘要压缩可以减少 65% 的检索令牌大小并提高 0.3% 的准确性；语义压缩可以将令牌大小减少 20%，但只有 1.6% 的准确性损失。
如何在 CPU 上加速大语言模型推理？
本文提出了一种有效的方法，通过自动 INT4 纯权重量化流和设计具有高度优化内核的特殊 LLM 运行时，在 CPU 上加速 LLM 推理。该方法对包括 Llama2、Llama、GPT-NeoX 等流行 LLM 具有普适性，并显示了在 CPU 上的极高推理效率。
