本文介绍了多种量化感知训练算法，如L4Q、QLLM和LoQT，旨在提高大型语言模型的低精度量化效果。这些方法在保持模型准确性的同时，显著提升了训练效率和性能，适用于边缘设备和大规模应用。

本文介绍了一种内存高效适应预训练语言模型的方法，通过迭代算法将预训练矩阵分解为高精度低秩部分和内存高效的量化部分。在微调过程中，只更新低秩部分，量化部分保持固定。通过整数线性规划形式动态配置量化参数，实现在总体存储器预算下的量化。实验结果表明，该方法在适应不同模型时优于其他基准方法，并能实现更激进的量化。