长期时间序列预测中的有效模型规模再思考
内容提要
该文综述Transformer在长期时间序列预测中的进展，指出线性模型LTSF-Linear曾优于Transformer并引发反思。随后介绍Periodformer、Conformer、PETformer、Dateformer、PatchTST等改进模型，通过周期注意力、编码器-解码器、多尺度框架、子序列分块和通道独立等设计，显著降低预测误差并提升精度，表明Transformer在该领域仍具强大潜力。
延伸解读
线性模型挑战与Transformer的回应
LTSF-Linear的简单线性结构在长期预测中一度超越复杂Transformer，引发对后者有效性的质疑。但后续研究并未放弃Transformer，而是针对其不足进行改进，如Periodformer的周期注意力、Conformer的编码器-解码器架构等，这些工作表明Transformer通过结构优化仍能显著降低预测误差，重新确立了在该领域的竞争力。
关键改进方向：从周期建模到通道独立
为提升长期预测精度，研究者从多个角度改进Transformer：Periodformer引入周期注意力并控制注意力影响；PETformer解决时间连续性、信息密度和多通道关系；PatchTST将序列分块并采用通道独立设计。这些方法共同指向对时间序列周期性和通道间关系的更精细建模，从而在公开数据集上取得更优性能。
效率与精度的平衡实践
改进模型不仅关注精度，也注重计算效率。Periodformer通过贝叶斯优化和多GPU异步并行将搜索时间缩短46%；Client模型在九个真实数据集上表现最优且计算时间和内存消耗最少；多尺度框架在不增加过多计算负担的情况下将性能提升5.5%至38.5%。这些实践表明，高效训练和推理是Transformer在长期预测中落地的重要考量。
Q&A
为什么线性模型LTSF-Linear在长期时间序列预测中能超越Transformer？
因为简单的线性模型实验发现，在长期时间序列预测任务中，线性模型LTSF-Linear的效果优于复杂的基于Transformer的方法，这引发了对Transformer在该任务中有效性的反思。
Periodformer模型有哪些创新点，预测误差降低了多少？
Periodformer采用Period-Attention机制和内置的近似性，嵌入门机制控制注意模块对预测结果的影响，并使用基于贝叶斯优化的多GPU异步并行算法加快超参数优化。在多元和单元预测方面，预测误差分别减少了13%和26%，同时缩短了46%的搜索时间。
Conformer模型如何提高长期时间序列预测的准确性？
Conformer采用编码器-解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制。实验表明，Conformer在长期时间序列预测中优于现有方法，并可生成可靠的预测结果与不确定性量化。
PETformer模型解决了Transformer在长期时间序列预测中的哪些关键问题？
PETformer研究了三个关键问题：时间连续性、信息密度和多通道关系，并提出了三种创新解决方案。通过广泛实验证明，PETformer在长期时间序列预测任务中取得了当前公共数据集上的最先进性能，优于其他所有现有模型。
PatchTST模型的设计原理是什么，它如何提升长期预测准确性？
PatchTST基于两个关键组件：将时间序列划分为子序列级别的片段，这些片段作为输入标记传递给Transformer；以及通道独立性，其中每个通道包含一个单变量时间序列，在所有系列中共享相同的嵌入和Transformer权重。PatchTST可以显著提高长期预测准确性，超越SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。
Dateformer模型如何提高时间序列预测的准确性和预测范围？
Dateformer通过将时间序列分成按天分割的小块，重新进行逐块方式处理，并设计时间建模Transformer-Dateformer，以提高Transformers模型的信息输入和输出，并使模型能够全局分析时间序列，从而大幅提高了时间序列预测的准确性和半年的最大预测范围。
