最新研究提出了一种称为A2Q的量化感知训练方法，通过约束模型权重以安全地使用目标累加器位宽。引入改进的上界和新的权重初始化策略形成A2Q+，实验证实A2Q+改善了累加器位宽和模型准确性之间的权衡。

通过限制权重和激活函数的精度，量化技术通常降低神经网络推理成本。最近的研究表明，降低累加器的精度可以进一步提高硬件效率，但存在数值溢出的风险，这会导致算术错误并降低模型的准确性。为了避免数值溢出并保持准确性，最新的工作提出了一种称为累加器感知量化（A2Q）的量化感知训练方法，在训练期间约束模型权重以在推理过程中安全地使用目标累加器位宽。尽管这显示出了潜力，但我们证明 A2Q...

本文介绍了一种新颖的权重量化方法，用于训练量化神经网络（QNNs）以避免低精度累加器溢出问题。该方法通过受权重归一化启发的公式，限制模型权重的L1范数，促进非结构化权重稀疏性以避免溢出。实验结果表明，该方法可以训练适用于低精度累加器的QNNs，并在FPGA上部署模型时提高资源效率。