QFT：量子化的低资源 LLM 全参数调整

BriefGPT - AI 论文速递 · 2023-10-11T00:00:00Z

该文介绍了一种高效的仅权重量化方法，以减少大型语言模型在实际应用中的内存需求和推断成本。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过自适应的量化粒度进行解决，展示了该方法的有效性。在大规模开源模型上评估，展示了最小的准确性损失，并在相同数量的 GPU 上实现了高达 3.65 倍的吞吐量。