InjectTST: 将全局信息注入到独立通道的 Transformer 方法，用于长时间序列预测
内容提要
本文探讨了关注机制在时间序列预测中的作用，提出了多种基于Transformer的模型，如MTS-Mixers和LIFT，以提高预测的准确性和效率。研究表明，优化通道间信息和引入新技术能显著提升多元时间序列预测性能。
延伸解读
Transformer在时间序列预测中的演进脉络
文章梳理了从2021年到2024年多个基于Transformer的时间序列预测模型，如ST-TIS、PatchTST、MTST、LIFT、TSMixer、PETformer、CSformer和SKI-CL。这些工作分别从轻量化、通道独立性、多分辨率建模、领先指标利用、MLP替代、多通道关系处理、两阶段自注意以及连续学习等角度进行改进，反映出该领域研究热点的快速变迁。
通道独立与通道混合的权衡
文章提到PatchTST采用通道独立性设计，每个通道共享嵌入和Transformer权重，而CDAM和TAM则通过最小化通道间冗余并增强相关互信息来改进Channel-mixing方法。这表明在多元时间序列预测中，如何平衡通道间的信息共享与冗余抑制是一个关键设计选择，不同模型对此有不同的取舍。
轻量化与效率成为重要方向
TSMixer作为轻量级神经架构，由多层感知机模块组成，旨在为补丁时间序列提供高效替代方案，并显著减少存储器和运行时间。ST-TIS也强调轻量级和更快的离线训练速度。这些工作说明，在追求预测精度的同时，计算效率和部署可行性正受到越来越多的关注。
多维度创新推动性能提升
PETformer针对时间连续性、信息密度和多通道关系三个关键问题提出解决方案，CSformer通过两阶段自注意机制和适配器设计增强特征提取，SKI-CL则利用图结构学习和一致性正则化处理累积数据。这些模型从不同维度切入，共同推动了长期时间序列预测性能的边界。
Q&A
关注机制在时间序列预测中有什么作用？
关注机制在时间序列预测中能够有效捕获时间和通道之间的互动，提升预测性能。
MTS-Mixers是如何解决时间序列预测中的冗余问题的？
MTS-Mixers通过优化时间和通道的互动，减少冗余信息，从而提高预测准确性。
LIFT方法在多元时间序列预测中有什么创新？
LIFT方法通过估计领先指标并将其应用于滞后变量，提升了预测性能。
ST-TIS方法如何提高交通预测的效率？
ST-TIS结合信息融合和区域采样技术，能够高效处理区域间的动态依赖关系，提升预测精度和训练速度。
PETformer模型解决了哪些关键问题？
PETformer模型解决了时间连续性、信息密度和多通道关系等关键问题，提升了长期时间序列预测的性能。
CSformer模型是如何提高特征提取能力的？
CSformer通过自注意机制和适配器设计，实现序列特定和通道特定信息的提取，显著提高了特征提取能力。
