如何准确且可解释地评估大模型量化效果？
内容提要
本文介绍了Fireworks团队处理模型量化和评估量化质量的方法，建议使用散度指标和任务指标来评估模型。不同的量化技术对使用场景有不同影响，开发者是量化质量的最佳评判者。文章还提到了KL散度作为评估量化质量的指标，并介绍了其他评估方法的问题。Fireworks的量化方法能够在速度和质量之间实现平衡，提供行业领先的速度和成本效率。
延伸解读
量化评估为何不能只看准确率
文章指出，基于任务的准确率指标（如MMLU）噪声大，可能将量化模型的小幅质量变化掩盖甚至反转。例如，量化模型在MMLU上可能比FP16参考模型得分更高，但这并非质量提升，而是评估噪声。因此，仅凭准确率判断量化优劣容易得出误导性结论，需要更细粒度的指标。
KL散度：更敏感的质量标尺
Fireworks推荐使用KL散度等散度指标评估量化质量。KL散度衡量量化前后模型输出概率分布的变化，能捕捉准确率忽略的细微差异。文章还引入词元拒绝率，并区分预填充和生成阶段。这些指标可解释性强，能指导不同模型部分的量化选择，例如MLP层影响小，QKV影响大。
量化没有通用方案，开发者需自行权衡
文章强调，量化技术多样，模型可量化部分不同，且不同使用场景对量化敏感度各异。因此不存在通用最佳配置。开发者应基于自身应用，在质量与速度的帕累托曲线上寻找平衡点。Fireworks建议使用其平台提供的对数概率值自行评估散度，以做出适合自己场景的决策。
其他评估方法的局限与风险
困惑度可能因模型过度自信和平均偏差而失真；AlpacaEval等基于LLM的评估样本量小、偏好冗长、结果噪声大；Arena-Hard-Auto虽改进明显，但在量化模型对比中差异仍被置信区间掩盖。这些方法在检测量化引起的微小质量变化时敏感性不足，不宜作为唯一依据。
Q&A
Fireworks团队如何评估模型量化质量？
Fireworks团队主要使用KL散度作为评估量化质量的指标，并结合散度指标和任务指标进行细致评估。
量化技术对不同使用场景的影响是什么？
不同的量化技术对使用场景的影响各不相同，因此开发者是量化质量的最佳评判者。
为什么不建议使用基于任务的方法来衡量量化质量？
基于任务的方法存在高噪声，可能导致不准确的结论，因此不建议使用。
KL散度在量化评估中有什么优势？
KL散度能够准确衡量量化后模型输出的变化程度，提供更好的可解释性。
Fireworks的量化方法有什么特点？
Fireworks的量化方法在速度和质量之间实现了平衡，具有行业领先的速度和成本效率。
量化模型的不同部分可以采用什么样的量化级别？
量化模型的不同部分可以根据需要采用不同的量化级别，从最少激进到最激进的量化。
