稀疏 VQ Transformer：一种无 FFN 框架，通过向量量化提升时间序列预测

通过应用稀疏和二元权重变换器，研究者发现轻量级模型在多变量时间序列问题上能够获得与稠密浮点变换器相当的准确性。该模型在分类、异常检测和单步预测等任务上表现良好，并通过两种修改减少了注意力机制的计算复杂度，从而减少了变换器中非零操作的数量。研究者还通过参数数量、存储大小和浮点运算量等度量标准证明了该方法的计算节约效果。