在 CPU 上高效 LLM 推断

BriefGPT - AI 论文速递 · 2023-11-01T00:00:00Z

该文介绍了一种高效的仅权重量化方法，以减少大型语言模型在实际应用中的内存需求和推断成本。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过自适应的量化粒度进行解决，展示了该方法的有效性。在评估中，该方法展示了最小的准确性损失，并在相同数量的 GPU 上实现了高达 3.65 倍的吞吐量。