基于元转换网络的动态长期时间序列预测
内容提要
该文综述Transformer在多变量时间序列预测中的进展，涵盖不变量嵌入、MTPNet、MTST、TFT、PatchTST、Meta-Transformer、TLNets、DeepTime、HiMTM等模型，强调多尺度建模、通道独立与自监督学习，并总结数据集、评估指标及最佳实践。
延伸解读
多尺度建模成为主流方向
文章梳理的多个模型如MTPNet、MTST、HiMTM均强调多尺度建模，旨在捕捉不同时间分辨率下的依赖关系。这表明单一尺度可能难以应对复杂时间模式，多尺度融合是提升预测性能的关键趋势。
通道独立与自监督学习受关注
PatchTST采用通道独立设计，将每个通道视为单变量序列并共享嵌入与Transformer权重，同时利用自监督预训练提升微调性能。这反映了在多元预测中平衡变量间关系与计算效率的一种思路。
评估与最佳实践得到总结
文章总结了公开的长期时间序列预测数据集和评估指标，并提供了有效训练Transformer的最佳实践。这有助于研究者在统一基准上比较模型，避免因实验设置差异导致结论偏差。
Q&A
Transformer在长期时间序列预测中有哪些主要改进模型？
文章综述了多个改进模型，包括MTPNet（多尺度Transformer金字塔网络）、MTST（多分辨率时间序列Transformer）、TFT（Temporal Fusion Transformer）、PatchTST、Meta-Transformer、TLNets、DeepTime和HiMTM。这些模型分别从多尺度建模、通道独立、自监督学习、元学习等角度提升了预测性能。
PatchTST模型的核心设计是什么？
PatchTST基于两个关键组件：一是将时间序列划分为子序列级别的片段，作为输入标记传递给Transformer；二是通道独立性，即每个通道包含一个单变量时间序列，所有系列共享相同的嵌入和Transformer权重。这种设计显著提高了长期预测准确性，并支持自监督预训练。
MTPNet如何提升多变量时间序列预测性能？
MTPNet是一种新颖的多尺度Transformer金字塔网络，它引入了不变量嵌入技术来捕捉短期时间依赖并将数据投射到高维空间，同时保留时间步和变量维度。该网络能有效捕捉多个不受约束尺度上的时间依赖，在九个基准数据集上优于最新先进方法。
MTST框架有什么特点？
MTST是一种多分辨率时间序列Transformer框架，采用多支架构同时建模不同分辨率的多样化时间模式，并通过相对位置编码提取不同尺度上的周期成分。在多个真实世界数据集上的实验证明，MTST在与最先进预测技术的比较中有效。
TFT模型在时间序列预测中有什么优势？
TFT（Temporal Fusion Transformer）是一种基于注意机制的新型深度学习模型，能高效且可解释地解决多步预测中存在的多个输入和时间动态性问题。在实际数据集上表现出显著的性能和可解释性。
DeepTime模型如何应对非平稳时间序列预测？
DeepTime是一个通过元学习训练的深度时间索引模型，在非平稳时间序列预测方面具有显著优势，与现有神经预测方法相比，展示了竞争结果和高效性。
HiMTM模型在时间序列预测中有什么应用？
HiMTM采用多尺度层次掩蔽时间序列建模方法，提升了多尺度特征提取能力，实验证明其在时间序列预测准确性上具有明显优势，并在天然气需求预测领域得到了有效应用。
