混合专家后训练量化的研究：一个基准评估

本文研究了大型语言模型中的Mixture-of-Experts（MoE）方法，通过稀疏激活实现了对LLMs的有效扩展。通过量化启发式方法，揭示了不同MoE结构需要不同数量的权重位数以实现有效和高效的量化。同时，引入了一些新的增强方法，以更准确地识别MoE量化中需要更高位数分配的关键权重。