多区块预测：适应时序表示学习的 LLM 调整
内容提要
大型语言模型被用于时间序列预测，通过时间序列拼接、时间编码、文本原型对齐及两阶段微调，LLM4TS、Time-LLM、AutoTimes等取得领先效果；补丁重构、对比学习和Masked Autoencoder等自监督方法提升了预测与分类效率；GPT-4等可结合新闻信号生成可解释金融预测，但存在分词与不确定性校准问题。
延伸解读
LLM 时间序列预测的演进脉络
文章梳理了从2022年到2024年LLM在时间序列预测中的关键进展：早期PatchTST和MTSMAE通过补丁重构与自监督学习提升效率；随后LLM4TS、Time-LLM和AutoTimes利用时间序列拼接、文本原型对齐和两阶段微调，在长期预测、少样本和零样本场景中达到领先水平。这一脉络显示，LLM正从直接提示走向与时间序列表示深度结合。
自监督学习与补丁重构的效率优势
文章提到，基于补丁重构和对比学习的自监督方法，如PatchTST和MTSMAE，在预测与分类任务上优于部分Transformer模型，同时参数更少、训练和推理时间更短。这表明，在LLM规模不断增大的背景下，轻量级自监督策略仍具实用价值，尤其适合资源受限或需要快速迭代的场景。
金融预测的可解释性与模型选择
在金融领域，GPT-4和Open LLaMA等模型结合股价、公司元数据和历史新闻，通过零样本或少样本推断生成可解释预测，表现优于ARMA-GARCH和梯度提升树。但文章也指出，GPT-4可能因数字分词方式和不确定性校准较差而逊于GPT-3，提示实际应用需关注模型对齐干预带来的副作用。
Q&A
LLM4TS 是如何利用大型语言模型进行时间序列预测的？
LLM4TS 通过结合时间序列拼接和时间编码来增强 LLM 处理时间序列数据的能力，并采用两阶段精调过程以及多种参数高效精调技术（PEFT），在长期预测方面取得了最先进的结果。
Time-LLM 在少样本和零样本学习场景中表现如何？
Time-LLM 通过在输入时间序列中加入文本原型，将两种模态对齐，从而获得强大的时间序列学习器，在少样本和零样本学习场景中表现出优越性能并超越了专业的预测模型。
有哪些自监督学习方法被用于提升时间序列预测和分类的效率？
文章提到使用简单的补丁重构任务和独立嵌入每个补丁的补丁级 MLP，并引入互补的对比学习方法以高效捕捉相邻时间序列信息；此外还有基于 Masked Autoencoders (MAE) 的自监督预训练方法 MTSMAE，利用补丁嵌入处理多元时间序列。
GPT-4 在可解释金融时间序列预测中是如何应用的？
研究利用 GPT-4 和 Open LLaMA 等模型，使用股票价格数据、公司元数据和历史新闻等多模态信号，在 NASDAQ-100 股票上进行零样本/少样本推断，并通过基于指令的微调生成可解释预测，结果优于经典的 ARMA-GARCH 模型和梯度提升树模型。
大型语言模型在时间序列预测中存在哪些局限性？
文章指出，由于 GPT-4 如何令牌化数字以及较差的不确定性校准，它可能比 GPT-3 表现更差，这很可能是因为诸如 RLHF 之类的对齐干预的结果。
PatchTST 的设计关键组件是什么？
PatchTST 基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。
