引入谱注意力机制以解决时间序列预测中的长距离依赖问题
原文中文,约200字,阅读约需1分钟。发表于: 。本研究针对序列建模在捕捉时间序列数据的长距离依赖上的不足,提出了一种新颖的谱注意力机制。该机制通过低通滤波器保留长时间趋势,同时维持模型原有结构,使固定大小的输入窗口能够有效处理长距离信息,实验证明其在多种数据集上表现出色,有望提升时间序列预测的准确性。
研究表明,基于全局标记和局部窗口的注意力图能提高时间序列预测的准确性,均方误差降低3.6%。该方法可替代分块嵌入方案,提升transformer模型性能。