本研究系统评估了量化推理模型，发现W8A8或W4A16量化可实现无损，但较低比特宽度会影响准确性。模型大小、来源和任务难度是影响性能的关键因素，适当调整模型规模或推理步骤可提升性能。

本研究提出了ParetoQ框架，以解决量化模型大小与准确性之间的比特宽度争议。研究发现2比特与3比特之间存在显著的学习转变，优化后的ParetoQ在准确性上优于以往方法，表明2比特量化在内存减少和加速方面具有潜力。

本研究提出了一种新方法，解决深度神经网络训练中比特宽度不一致的问题，降低存储成本并优化训练过程，验证了其在多个任务上的有效性。

本文介绍了一种新的随机可微量化（SDQ）方法，通过优化比特宽度和熵感知的分 bin 正则化和知识蒸馏对网络进行训练。经评估，SDQ 在较低的比特宽度下表现优于其他方法，展示了其有效性和优越性。