稀疏 VQ Transformer：一种无 FFN 框架，通过向量量化提升时间序列预测
内容提要
该文汇总了团队在稀疏量化与向量量化方面的研究：提出TimeVQVAE、Transformer-VQ、VQ-GNN、VQ-AR等模型，用于时间序列生成、高效注意力、图神经网络和自回归预测；并将2:4稀疏化、量化与知识蒸馏结合，压缩视觉Transformer和语言模型，实现最高63倍压缩，显著降低存储与FLOPs，精度近乎无损。
延伸解读
时间序列预测的稀疏量化路径
文章汇总了团队在时间序列预测中应用稀疏量化与向量量化的多项研究。TimeVQVAE通过时频域分离和双向转换模型提升生成质量；Transformer-VQ利用向量量化键和缓存机制实现线性时间注意力；VQ-AR则用离散表示进行自回归预测。这些工作共同指向一个方向：在保持预测精度的同时，通过量化与稀疏化降低计算与存储开销。
压缩技术的实际收益与代价
文章提到，通过2:4稀疏化、量化与知识蒸馏结合，视觉Transformer模型可压缩6.4-12.7倍且精度几乎无损；在语言模型上，量化感知张量压缩训练实现了最高63倍压缩比和显著加速。这些数据表明，稀疏量化能在存储和FLOPs上带来数量级的节省，但实际部署时仍需权衡压缩率与任务精度，不同模型和任务的收益可能差异较大。
跨领域应用的通用性
除了时间序列，文章还涉及图神经网络和视觉Transformer。VQ-GNN通过量化参考向量和低秩图卷积解决邻居爆炸问题，在节点分类和链接预测中表现可扩展；视觉Transformer的压缩方案则提升了实际部署性能。这显示稀疏量化方法具有跨领域的通用性，但各领域的具体挑战不同，例如图数据的结构依赖和视觉任务的空间冗余，需要针对性的设计。
Q&A
TimeVQVAE 是如何处理时间序列生成问题的？
TimeVQVAE 使用矢量量化技术，在时频域中分离低频和高频以保留重要特征，并使用双向转换模型学习离散潜在空间的先验知识，从而获得更好的全局时间一致性和生成质量。
Transformer-VQ 在哪些数据集上取得了优秀结果？
Transformer-VQ 在 Enwik8 上达到 0.99 bpb，在 PG-19 上达到 26.6 ppl，在 ImageNet64 上达到 3.16 bpb。
稀疏和二元权重变换器在多变量时间序列任务中有什么优势？
轻量级模型能够获得与相同结构的稠密浮点变换器相当的准确性，并在分类、异常检测和单步预测三个任务上取得良好结果，同时实现高达 53 倍的存储大小减少和高达 10.5 倍的 FLOPs 减少。
VQ-GNN 框架解决了图神经网络中的什么问题？
VQ-GNN 解决了图神经网络中的邻居爆炸问题和扩展性问题，通过保留所有传递给 mini-batch 的节点的信息，使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，并设计了新的信息传递算法和反向传播规则。
量化感知张量压缩训练方法能达到多高的压缩比？
该方法在自然语言理解任务中表现出高达 63 倍的压缩比，几乎无损的精度损失，并显著加速推断和训练。
VQ-AR 模型的主要特点是什么？
VQ-AR 是一种新颖的自回归模型，使用离散表示来预测未来，并在多个时间序列数据集上展示了先进的性能。
