sTransformer：用于时间序列预测的模块化方法，提取序列间和时间信息
内容提要
本文综述了Transformer在时间序列预测中的应用与进展，提出了改进模型如Informer、GCformer和iTransformer，强调其在长序列处理中的优势。研究表明，Transformer架构在时间序列建模中表现出色，并探讨了未来研究方向和最佳实践。
延伸解读
从Informer到iTransformer：架构演进脉络
文章梳理了Transformer在时间序列预测中的多个改进模型，呈现出一条清晰的演进路径：Informer通过ProbSparse自注意力和生成式解码器解决长序列效率问题；GCformer结合全局卷积与局部Transformer分支；iTransformer则反转注意力机制与前馈网络的职责，以增强多变量预测。这些工作共同表明，研究者正从不同角度弥补原始Transformer在长序列建模中的不足。
效率与性能的权衡：轻量化与卷积化趋势
面对Transformer的高计算成本，文章提到PatchMixer和浅层轻量级Transformer等方案。PatchMixer仅依赖深度可分离卷积，在提升性能的同时速度可达先进方法的2-3倍；浅层轻量级模型参数仅为TSMixer的四分之一，却平均超越其14.33%。这反映出时间序列预测领域在追求精度的同时，正积极寻求更高效的架构设计。
预训练与自适应：时间序列建模的新方向
文章指出，Timely Generative Pre-trained Transformer通过递归注意力和时间卷积捕获全局-局部依赖，在非规则采样数据上表现突出，意味着研究优先级转向大规模预训练。同时，MultiResFormer自适应选择patch长度，动态建模时间序列变化。这些趋势表明，未来模型将更注重灵活适应不同数据特性，而非固定架构。
Q&A
Transformer在时间序列预测中的优势是什么？
Transformer在处理长序列的语义相关性方面表现出色，能够有效建模时间序列数据。
什么是Informer模型，它解决了什么问题？
Informer模型是一种高效的基于Transformer的模型，解决了长序列时间序列预测中的问题，具有ProbSparse自注意机制和生成式解码器。
GCformer模型的主要特点是什么？
GCformer通过结构化全局卷积分支处理全局依赖关系，同时利用本地Transformer分支捕获短时信号，表现优于现有方法。
PatchMixer模型如何解决Transformer的挑战？
PatchMixer模型通过排列不变自注意力机制和深度可分离卷积来解决Transformer在时间序列预测中的挑战，显著提升了性能。
iTransformer模型的创新之处在哪里？
iTransformer模型通过反转注意力机制和前馈网络的职责，增强了对多变量时间序列的预测能力。
MultiResFormer模型的优势是什么？
MultiResFormer模型自适应选择最佳patch长度，动态建模时间序列变化，在长期预测任务中优于基于patch的Transformer。
