该文汇总了团队在稀疏量化与向量量化方面的研究:提出TimeVQVAE、Transformer-VQ、VQ-GNN、VQ-AR等模型,用于时间序列生成、高效注意力、图神经网络和自回归预测;并将2:4稀疏化、量化与知识蒸馏结合,压缩视觉Transformer和语言模型,实现最高63倍压缩,显著降低存储与FLOPs,精度近乎无损。
该文综述矢量量化研究进展,通过自适应量化、可微分凸优化、动态码本调整及稀疏量化等方法,在图像分类、重构与检索中提升精度并加速,将压缩网络性能损失降低40%至70%,近似向量操作提速逾10倍。
完成下面两步后,将自动完成登录并继续当前操作。