BriefGPT - AI 论文速递
·
MGRQ: 视觉转换器训练后的混合粒度重建量化
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
后训练量化（PTQ）是一种高效的模型压缩技术，使用小样本集对预训练模型进行量化。IGQ-ViT是一种实例感知分组量化技术，将激活图通道分割为多个组，以使每组内的激活具有相似统计特性。该方法在位运算约束下取得了良好效果，并在图像分类、目标检测和实例分割等领域进行了实验证明。
🎯
关键要点
- 后训练量化（PTQ）是一种高效的模型压缩技术，使用小样本集对预训练模型进行量化。
- IGQ-ViT是一种实例感知分组量化技术，动态将激活图通道分割为多个组。
- 每组内的激活具有相似的统计特性，优化了量化效果。
- 该方法扩展到对令牌之间的softmax注意力进行量化。
- 通过调整每层的组数，最小化量化模型与全精度模型之间的差异。
- 在位运算约束下，该方法取得了良好效果。
- 在图像分类、目标检测和实例分割等领域进行了广泛的实验证明。
🏷️
标签
➡️
