本研究提出ASER算法，旨在解决大型语言模型的低位量化问题，通过误差重建和激活平滑来提升性能。实验结果表明，ASER在保持准确性的同时，能够有效地量化大型语言模型。

T-MAC是一种基于查找表的低位量化方法，旨在提高大型语言模型的推断效率。通过FlattenQuant方法，模型在使用4位和8位权重时实现了显著的速度提升和内存减少，且准确度损失微小。此外，研究还提出了LUT-Q训练方法和BiQGEMM矩阵乘法，进一步优化了深度神经网络的性能和计算需求。

本文提出了一种高效的低位量化方法，利用预训练模型对大型语言模型的权重和激活值进行量化，显著降低内存消耗和推断成本。该方法适用于多种模型，确保最小的准确性损失，并在多个大规模模型上验证了其有效性，提升了吞吐量和性能。

本文综述大语言模型低位量化研究，涵盖BitNet从零训练1位权重且性能媲美8位量化与FP16并节省内存能耗、BiLLM实现1.08位后训练量化，以及二值化Transformer、BitDelta、FP8混合精度训练、MobileLLM、PB-LLM、QLLM等方法，兼顾压缩与推理能力。

本文综述大语言模型低位量化研究，涵盖BiLLM（1.08位权重高精度推理）、QLLM（自适应通道重组提升准确率）、PB-LLM（部分二值化保留推理能力），以及数据无关蒸馏、2.85位表示、EfficientDM、BitDistiller、多码本量化、6位近无损量化和DGQ等技术，兼顾压缩率与推理效率。

该文综述扩散模型与语言模型的量化压缩研究，涵盖基于信噪比的全局与局部量化策略及EfficientDM、Diffusion-LM、QuantEase、DPQ、PQLM、量子扩散模型、token对比蒸馏、SDQ等方法，可在低位量化与高压缩率下保持模型性能。