时间序列预测的LSEAttention,您所需的一切
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了变压器在多变量长期预测中的表现不及简单线性基线的问题。通过引入LSEAttention方法,本文克服了传统注意力机制导致的熵崩溃和训练不稳定性,实验证明LSEAttention在多个真实世界多变量时间序列数据集上的表现优于现有时间序列变压器模型,并且在某些特定数据集上超越了一些最先进的模型。
我们重新设计了Transformer架构,提出了iTransformer模型。该模型通过反转注意力机制和前馈网络的职责,实现了多变量时间序列预测,并在多个数据集上表现优异,成为有效的替代方案。