该文介绍了一种应用稀疏和二元权重变换器的轻量级模型,能够在多变量时间序列问题上获得与稠密浮点变换器相当的准确性。该模型在分类、异常检测和单步预测三个时间序列学习任务上表现良好,并通过两种修改减少了注意力机制的计算复杂度,从而大大减少了变换器中非零操作的数量。
该文介绍了一种基于稀疏和二元权重变换器的轻量级模型,能够在多变量时间序列问题上取得与稠密浮点变换器相当的准确性。该模型在分类、异常检测和单步预测三个时间序列学习任务上表现良好,并通过两种修改减少了注意力机制的计算复杂度,从而大大减少了变换器中非零操作的数量。
研究发现,通过应用稀疏和二元权重变换器,轻量级模型在多变量时间序列问题上能够获得与稠密浮点变换器相当的准确性。模型在分类、异常检测和单步预测三个任务上表现良好,并通过减少注意力机制的计算复杂度来减少变换器中非零操作的数量。研究还展示了该方法在参数数量、存储大小和浮点运算量等方面的计算节约效果。
完成下面两步后,将自动完成登录并继续当前操作。