查找表量化 LLM 的快速矩阵乘法
原文中文，约400字，阅读约需1分钟。发表于：。使用 FLUTE 内核可以提高大型语言模型的推理速度，尤其在权重非均匀、查找表量化的情况下，通过离线重构量化权重矩阵，最小化位操作，并通过向量化和查找表的复制来减轻共享内存带宽限制，可以使 FLUTE 内核比现有的 GEMM 内核快 2-4 倍。
为了解决大型语言模型的内存需求和推断成本问题，提出了一种高效的仅权重量化方法。通过减少内存消耗和加速推断，利用预训练模型的权重来确保最小质量降低。适用于混合专家模型和密集模型，无需额外微调。通过自适应的量化粒度解决挑战和问题，展示了方法的有效性。实现了高效的GPU矩阵乘法和解量化算法，支持不同激活和权重的乘法。在大规模开源模型上评估，展示了最小的准确性损失和高吞吐量。
