本文介绍了一种名为norm tweaking的技术，旨在提高大型语言模型的量化精度和效率。研究表明，通过改进权重和激活的量化方法，在低比特量化情况下，模型性能可与浮点模型相当。此外，自适应通道重组和混合精度量化方法显著提升了模型的准确率和计算效率，为未来AI硬件设计提供了新思路。

本文提出了一种增量量化方法，通过细调的大语言模型进行分解和压缩，以保持模型性能。研究表明，混合精度量化技术（如W4A8量化）显著提高计算效率，减少内存占用，且性能损失低于1%。此外，提出的可学习压缩量化方法（LCQ）有效控制权重和激活的压缩级别，优于传统方法，保持高准确度。

本文介绍了一种在芯片上进行硬件感知的混合精度量化（OHQ）框架，通过构建量化感知管道和基于掩码的量化估计技术，实现了从硬件感知的混合精度量化。OHQ 在不需要额外计算设备和数据访问的情况下，对各种体系结构和压缩比率进行了量化推理，为 ResNet-18 和 MobileNetV3 分别实现了 70％和 73％的准确率，并且相较于部署中的 INT8，减少了 15～30％的延迟。