研究团队首次系统评估了Qwen3在低比特量化下的鲁棒性，发现其在8比特时性能接近无损，但在4比特及以下时显著下降，尤其在复杂任务中。Qwen3的预训练使其对量化敏感，需要创新量化技术以保持性能。

本研究探讨了大语言模型在数学推理中的低比特量化影响，并提出了多维评估框架。结果表明，量化对数字计算和推理规划能力的影响存在差异，并识别出性能下降的关键领域。

研究表明，低比特量化对未充分训练的大型语言模型有利，且量化导致的性能下降较小。提出通过量化降级评估模型训练水平，强调未来低比特量化的性能可能不理想。

本研究提出了一种名为“量化提示”（P4Q）的方法，旨在减少大规模视觉语言模型对训练样本和计算资源的需求。P4Q通过轻量架构和对比损失监督，提升了低比特量化模型的识别性能，缩小了图像和文本特征之间的差距。实验结果显示，P4Q性能优于现有技术，具有实际应用潜力。

本文综述神经网络量化技术，涵盖权重与激活的低比特量化、量化感知训练和后训练量化，重点方法包括Learned Step Size、SAT、ProxQuant、GPTQ等，可在1至4比特下保持精度，并缓解震荡与内存问题，推动高效部署。

本文综述大语言模型低比特量化研究，比较INT4与FP6/FP4等浮点方案。INT4在代码生成、摘要等任务中性能明显下降，而FP6精度高、适用广，可使模型接近FP16水平。作者提出FP6的4+2设计，兼顾硬件效率与低延迟，为资源受限部署提供新方案。