TimeXer：运用外生变量增强 Transformer 进行时间序列预测
内容提要
多变量LSTM模型通过张量化隐藏状态学习变量表示，实现时间与变量注意力，可预测含外生变量的时间序列并量化变量重要性，结果与Granger因果检验吻合。后续研究提出iTransformer、PatchTST、ETSFormer、TimeX等Transformer改进模型，提升了多变量时间序列预测的精度与可解释性，并探索了联邦学习、PCA降维等方向。
延伸解读
外生变量与可解释性：多变量LSTM的贡献
文章指出，多变量LSTM通过张量化隐藏状态学习每个变量的表示，实现了时间和变量级别的注意力，并能量化变量重要性。实验表明，其重要性排序与Granger因果检验高度吻合，这为时间序列预测提供了可解释性。该模型可处理含外生变量的序列，并有望成为预测与知识发现的端到端框架。
Transformer变体：从iTransformer到PatchTST
文章回顾了多个Transformer改进模型：iTransformer反转注意力机制和前馈网络的职责，在多个真实数据集上取得最先进表现；PatchTST将时间序列划分为子序列片段并采用通道独立性，显著提升长期预测准确性；ETSFormer引入指数平滑和频率注意力，提高准确性和效率。这些工作共同推动了多变量时间序列预测的发展。
效率与隐私：联邦学习和PCA降维的探索
文章提到，联邦Transformer用于股票预测，在保护隐私的同时提升性能；PCA增强的Transformer框架通过降维减少冗余信息，在多个数据集上降低预测误差和运行时间。例如，PCA+Crossformer平均减少MSE 33.3%并缩短运行时间49.2%。这些方向旨在平衡预测精度、计算效率和隐私保护。
Q&A
TimeXer 是什么？它如何利用外生变量增强 Transformer 进行时间序列预测？
TimeXer 是一种运用外生变量增强 Transformer 进行时间序列预测的方法。它通过引入外生变量来提升 Transformer 模型的预测能力，但具体机制在提供的文本中未详细说明。
多变量 LSTM 模型如何实现可解释性并量化变量重要性？
多变量 LSTM 模型通过张量化隐藏状态学习每个变量的特定表示，实现混合时间和变量注意力机制，从而量化各个变量的重要性。其变量重要性结果与统计 Granger 因果检验高度吻合。
iTransformer 模型对 Transformer 架构做了哪些改进？
iTransformer 通过反转注意力机制和前馈网络的职责，重新设计了 Transformer 架构，而无需调整基本组件。该模型在多个真实世界数据集上取得了最先进的表现，增强了 Transformer 家族的性能，广泛适用于不同变量，并更好地利用任意回望窗口。
PatchTST 模型的两个关键组件是什么？它有什么优势？
PatchTST 基于两个关键组件：一是将时间序列划分为子序列级别的片段，作为输入标记传递给 Transformer；二是通道独立性，每个通道包含一个单变量时间序列，共享相同的嵌入和 Transformer 权重。它可以显著提高长期预测准确性，超越 SOTA Transformer 模型，并在自我监督预训练任务中实现出色的微调性能。
ETSFormer 如何改进 Transformer 用于时间序列预测？
ETSFormer 是一种基于 ETS 的改进型 Transformer 架构，通过引入指数平滑、曲线趋势拟合和频率部分的注意力机制和模块化分解，提高了时间序列预测的准确性和效率，实现了对时间序列数据的分解和解释。
PCA 增强的 Transformer 预测框架在效率和准确性上有哪些提升？
PCA 增强的 Transformer 预测框架能降低冗余信息、提高预测准确性并优化运行时间效率。评估显示，PCA+Crossformer 模型平均减少均方误差（MSE）33.3% 并缩短运行时间 49.2%。在电力数据集上，降低 MSE 14.3% 和运行时间 76.6%；在交通数据集上，降低 MSE 4.8% 和运行时间 86.9%。
