LiDAR-PTQ: 点云三维物体检测的后训练量化
内容提要
本文综述了多种神经网络量化方法，包括DetPTQ通过检测结果自适应选择量化参数以提升2D和3D检测器性能，GPTQ证明基于梯度的后训练量化具有鲁棒性并提出混合精度技术，ZeroQuant利用细粒度量化和知识蒸馏压缩大型Transformer模型，以及半监督3D检测、LLM近3位量化、LDMs压缩和BERT量化等研究。
延伸解读
量化参数自适应选择的价值
文章指出，固定超参数p无法达到最优量化性能，DetPTQ通过检测结果自适应选择p值，在2D和3D检测器上均优于现有技术。这提示读者，在部署检测模型时，量化参数不应一刀切，而应结合任务输出动态调整，以平衡精度与效率。
后训练量化的鲁棒性与混合精度
GPTQ研究表明，基于梯度的后训练量化在权重选择、特征增强和校准集方面具有鲁棒性，并提出了基于重要性的混合精度技术。这意味着实际应用中，可以优先量化对精度影响小的部分，对关键层保留更高精度，从而在压缩模型的同时维持性能。
低比特量化的可行性与限制
文章提到OCS可将BERT量化为3位并在GLUE上保持98%和96%的性能，而LLM近3位量化也有探索。但需注意，这些结果依赖于特定模型和任务，低比特量化并非普遍适用，实际部署时需评估精度损失是否可接受。
量化策略的粒度与比特权衡
研究发现，细粒度量化对保持准确性至关重要，但粗粒度量化在较高比特（如5位）下可能比非常细粒度的低比特（如4位）更有效。这提醒读者，选择量化方案时需综合考虑粒度和比特宽度，而非单纯追求低比特。
Q&A
DetPTQ 是如何提升 2D 和 3D 物体检测器量化性能的？
DetPTQ 框架使用基于检测结果的适应性 p 值来选择最优量化参数，而不是使用固定的超参数 p，从而在 2D 和 3D 物体检测器上取得了比现有技术更优秀的性能。
GPTQ 后训练量化方法有哪些鲁棒性表现？
GPTQ 在权重选择、特征增强、校准集等方面表现出鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，以及基于重要性的混合精度技术。
ZeroQuant 如何压缩大型 Transformer 模型？
ZeroQuant 采用三个主要组成部分：细粒度硬件友好量化、层内知识蒸馏算法和优化的量化系统，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。
在资源受限环境中，BERT 模型可以量化到多少位并保持性能？
研究表明 OCS 方法可以将 BERT-Base 和 BERT-Large 量化为 3 位，并在 GLUE 基准测试中分别保持 98% 和 96% 的性能。
后训练量化中，细粒度量化与粗粒度量化哪个更有效？
研究发现细粒度量化和 PTQ 方法是获得良好准确性所必需的，并且粗粒度量化的高比特位（例如 5 比特）比非常细粒度量化的低比特位（例如 4 比特）更强大。
半监督三维物体检测面临哪些挑战，有何解决方案？
在杂乱的三维室内场景中标注成本极高，因此提出了第一种半监督三维检测算法，采用自学习的强健和原则性框架，单阶段运作并允许稠密的训练信号，解决了多阶段流水线以及离散化量化误差等问题。
