本研究探讨了大型语言模型在硬件可及性和能源消耗方面的高资源需求，并提出了一种后训练量化技术的系统评估。通过分析不同的量化方案，旨在实现高效推理。

本研究提出了一种新颖的后训练量化方法Pack-PTQ，旨在解决低比特情况下的准确性下降问题。通过自适应打包机制和混合精度量化，Pack-PTQ有效保留了块间依赖性，显著提升了量化性能。实验结果表明，其在2D图像和3D点云分类任务中优于现有技术。

本研究提出了一种新的混合精度后训练量化方法——任务-电路量化（TaCQ），通过将关键任务权重保持为16位，显著提高了在2至3位量化条件下的模型性能，同时仅增加了少量内存开销。

本研究提出了一种后训练量化框架，通过细粒度分组和EM量化方案，将大语言模型的权重量化为1位，显著降低量化误差并提升性能。

本研究提出了一种后训练量化框架，成功在3D医疗分割模型上实现8位量化，显著降低模型大小和推理延迟，同时保持性能，为资源受限的医疗成像应用提供高效解决方案。

本研究提出了一种渐进细到粗重建（PFCR）方法，以解决视觉变换器（ViTs）在后训练量化（PTQ）中低位量化性能下降的问题。该方法使3位量化的ViT-B模型Top-1准确率显著提升至75.61%。

本研究提出了一种通道放松向量量化（CRVQ）技术，旨在降低大语言模型在资源受限设备上的计算成本，提升后训练量化性能，改进幅度达到38.9%，并支持灵活定制，拓宽了部署选项。

本研究探讨了大语言模型后训练量化中的量化简化问题，重点分析各层的量化误差。引入两种微调策略，相较于单一微调，效果因模型而异，对某些模型有显著提升。

后训练量化在视觉Transformer中受到关注，但现有方法常忽视权重和激活间的复杂依赖，导致量化误差。论文提出ERQ方法，通过减少激活和权重量化误差来优化。实验表明，ERQ在ViT-S上性能优于GPTQ，提升22.36%。

本论文概述了大规模神经网络模型量化的原则、挑战和方法，通过后训练量化和量化感知训练技术，降低模型规模并提高效率，为大规模模型部署提供了重要影响。

该研究探讨了大型语言模型的后训练量化，特别是4位权重和8位激活（W4A8）量化，以提高计算效率。研究引入了激活量化感知的缩放（AQAS）和序列长度感知的校准（SLAC）等创新技术，并使用混合数据格式（dINT）解决了W4A8量化中的下溢问题。通过对LLMs的严格评估，证明这些技术显著提高了任务准确度，并且与完整精度模型相当。通过与dINT兼容的算术单元的开发，进一步提升了2倍硬件效率。

该研究探讨了大型语言模型的后训练量化，特别是4位权重和8位激活量化，以提高计算效率。通过创新技术和混合数据格式，解决了量化中的问题，并证明了这些技术显著提高了任务准确度。该方法相对于8位整数MAC单元可以提升2倍硬件效率。

该研究探讨了大型语言模型的后训练量化，特别是4位权重和8位激活（W4A8）量化，以提高计算效率。通过创新技术和混合数据格式，解决了量化中的问题，并证明这些技术显著提高了任务准确度。该方法相对于8位整数MAC单元可以提升2倍硬件效率。

后训练量化（PTQ）是一种高效的模型压缩技术，使用小样本集对预训练模型进行量化。IGQ-ViT是一种实例感知分组量化技术，将激活图通道分割为多个组，以使每组内的激活具有相似统计特性。该方法在位运算约束下取得了良好效果，并在图像分类、目标检测和实例分割等领域进行了实验证明。

该研究探讨了大型语言模型的后训练量化，特别是4位权重和8位激活（W4A8）量化，以提高计算效率。研究引入了激活量化感知的缩放（AQAS）和序列长度感知的校准（SLAC）等创新技术，并使用混合数据格式（dINT）解决了W4A8量化中的下溢问题。通过严格评估，证明这些技术显著提高了任务准确度，并且与完整精度模型相当。该方法相对于8位整数MAC单元可以提升2倍硬件效率。

较大的网络比较小的网络更容易丧失稳健性，压缩网络在面对域转移和对抗扰动时的稳健性较低。知识蒸馏得到的紧凑网络在面对域转移时比剪枝网络更稳健。后训练量化是一种可靠的方法，能显著提高稳健性，胜过剪枝和蒸馏模型的稳健性。

SmoothQuant是一个免费的后训练量化解决方案，可用于大型语言模型，实现8位权重和激活的量化，提高硬件效率，降低硬件成本，是一个民主化LLMs的解决方案。