TOTEM: 基于令牌化的时间序列嵌入用于一般时间序列分析
内容提要
本文综述时间序列表示学习进展，涵盖TS2Vec（分层对比学习实现任意粒度表示）、UniTime（跨领域学习）、LPTM（自动分段预训练）、TeNet（抽象片段预测）、TEST（激活大模型处理时间序列）、ETM（结合词嵌入发现可解释主题）、T2P（模式汇总）、TimeNet（通用特征提取）和Todyformer（结合图神经网络与Transformer处理动态图）。
延伸解读
时间序列表示学习的多样性
文章综述了多种时间序列表示学习方法，包括TS2Vec、UniTime、LPTM、TeNet、TEST、ETM、T2P、TimeNet和Todyformer。这些方法针对不同任务和场景，如分类、预测、异常检测和主题发现，展示了该领域的广泛探索。读者可借此了解当前研究的多样性和潜在应用方向。
预训练与跨领域学习趋势
UniTime和LPTM等模型强调跨领域学习和预训练策略。UniTime通过领域指令和语言-时间序列转换器对齐模态，提升零样本可迁移性；LPTM自动识别最佳分段策略，减少数据和计算需求。这反映了时间序列分析向通用性和效率发展的趋势。
大语言模型与时间序列的结合
TEST方法探索了利用预训练大语言模型处理时间序列数据的可能性。通过分词和嵌入对齐，TEST激活LLM的TS处理能力，而不损害其语言能力。尽管性能未显著超越专用模型，但为未来研究提供了新思路，即把LLM视为模式机器。
动态图与时间序列的交叉
Todyformer结合图神经网络和Transformer处理动态图，通过时间位置编码捕捉长距离依赖，在公共基准上超越最先进方法。这显示了时间序列分析向图结构数据扩展的趋势，为处理复杂关系数据提供了新工具。
Q&A
TS2Vec 是如何实现时间序列任意粒度表示的？
TS2Vec 通过对增强的上下文视图进行分层对比学习，为每个时间戳提供强大的上下文表示，并通过简单的聚合获得时间序列任意子序列的表示。
UniTime 模型如何解决跨领域时间序列学习的挑战？
UniTime 通过灵活适应不同特征的数据、使用领域指令和语言-时间序列转换器来对齐模态，以及利用屏蔽来缓解领域收敛速度不平衡问题，从而提升预测性能和零样本可迁移性。
LPTM 在预训练中有什么优势？
LPTM 将多个不同动态和领域的时间序列分割为片段作为输入，自动识别最佳的数据集特定分段策略，在多个领域任务中达到或超过领域特定最先进模型的性能，且数据量减少40%，训练时间减少50%。
TEST 方法如何让大语言模型处理时间序列数据？
TEST 首先对时间序列进行分词，通过实例、特征和文本原型对齐等方式建立编码器进行嵌入，然后创建提示信息使LLM更开放地应用嵌入，最终实现时间序列任务。
T2P 时间序列汇总方法有什么特点？
T2P 通过学习离散时间序列的信息嵌入，在解释性的潜在空间中找到一组多样性模式来编码最显著的信息，在模式多样性和处理可扩展性方面比之前的工作有显著改进。
Todyformer 是如何结合图神经网络和Transformer处理动态图的？
Todyformer 将MPNNs的局部编码能力与Transformers的全局编码能力相结合，通过时间位置编码捕捉长距离依赖关系，在公共基准数据集上下游任务中 consistently 超过了最先进方法。
