量化如何影响多语言 LLMs？
内容提要
本研究探讨了大型语言模型（LLMs）的量化技术，发现4位量化在大多数基准测试中表现相当，但可能影响推理速度和模型偏见。研究揭示了量化对模型置信度的影响，并提出基于置信度的量化损失解释，强调量化的最佳实践和安全性问题。量化技术在提高存储和计算效率的同时，需关注其对模型新兴能力的影响。
延伸解读
量化对模型置信度的影响
研究发现，通过GPTQ进行4位量化会导致模型对真实标签的置信度降低，且不同语言模型之间受影响程度存在差异。此外，量化不成比例地影响那些在完整模型中置信度原本就较低的样本，这为量化损失提供了一种基于置信度水平的解释。这意味着量化可能加剧模型在某些样本上的不确定性，读者需关注量化后模型校准性的变化。
量化与模型偏见及安全风险
量化权重虽能提升存储和计算效率，但可能损害性能并加剧LLMs中的偏见。更值得警惕的是，研究首次从安全角度揭示了量化技术可能被利用来产生有害的量化模型，从而欺骗用户部署恶意模型。这提醒我们，在追求效率的同时，必须重视量化模型的安全性和可信度。
量化对新兴能力的影响
实验表明，4位量化模型仍保留上下文学习、思维链推理和指令跟随等新兴能力，而2位模型在这些能力上性能严重下降。对于表现良好的较小规模语言模型，量化并未削弱其长上下文推理能力，证明了利用量化的小型模型进行反馈增强生成是可行的。因此，极低位量化需谨慎，而4位量化在多数场景下仍能保持能力。
Q&A
量化对大型语言模型的性能有何影响？
量化可以在大多数基准测试中保持与非量化模型相当的性能，但可能影响推断速度，并加剧模型偏见。
量化如何影响模型的置信度？
量化会导致对真实标签置信度的降低，且不同语言模型之间的影响存在差异。
量化技术的最佳实践是什么？
最佳实践包括平衡性能与计算效率，考虑标定数据、量化算法和量化方案。
量化对模型的新兴能力有何影响？
量化对模型的新兴能力、上下文学习和思维链推理等影响显著，4位量化模型仍保留这些能力。
量化技术在安全性方面存在哪些问题？
量化技术可能被利用产生有害的量化模型，欺骗用户部署恶意量化模型。
较小规模语言模型在量化后表现如何？
较小规模语言模型在长上下文推理能力上未受量化影响，证明其可行性。
