大型语言模型的量化对置信度的影响
原文中文，约400字，阅读约需1分钟。发表于：。近期的研究引入了通过事后训练量化或低位权重表示来进行大语言模型（LLMs）有效压缩的技术。尽管量化权重提供了存储效率和更快推理的优势，但现有研究指出，量化可能损害性能并加剧 LLMs 中的偏见。本研究通过考虑语言模型类型和规模等因素，调查了量化模型的置信度和校准情况，揭示了通过 GPTQ 进行 4...
最近的研究发现，通过事后训练量化或低位权重表示来压缩大语言模型可能会降低置信度和校准情况。研究还发现，4位量化会导致对真实标签置信度的降低，并且不同语言模型之间观察到的影响差异。此外，研究还发现在不同规模下对置信度影响的波动。最后，研究提出了一种基于置信度水平的量化损失解释。
