MultiCast：使用 LLM 进行零样本多元时间序列预测
内容提要
本文探讨了大型语言模型（LLMs）在时间序列预测中的应用，尤其在零样本推断方面表现优异。研究提出了一种创新框架 aLLM4TS，结合自监督学习和补丁解码层，显著提升时间序列表示的有效性，展示了LLMs在时间序列分析中的潜力和适应性。
延伸解读
LLM时间序列预测的意外优势
文章指出，大型语言模型如GPT-3和LLaMA-2在零样本时间序列外推上表现优异，甚至超过专用模型。这源于LLM能自然表示多模态分布，并偏好简洁性和重复性，与时间序列的重复季节性趋势相契合。此外，LLM无需插补即可处理缺失数据，并能容纳文本边信息，为预测提供解释。
模型规模并非总是提升性能
虽然增加模型大小通常能提高时间序列预测性能，但文章发现GPT-4可能因数字令牌化方式和对齐干预（如RLHF）导致的不确定性校准较差，表现反而不如GPT-3。这提醒读者，在时间序列任务中，模型规模扩大不一定带来更好效果，需关注令牌化策略和校准问题。
aLLM4TS框架的创新与效果
aLLM4TS框架通过两阶段训练适应LLM进行时间序列表示学习：先在大规模时间序列数据上进行因果连续预训练，再在目标环境微调。其独特之处在于基于补丁的解码层，直接将补丁转换为时间序列，摒弃序列级解码。该框架在多个下游任务中表现卓越，提升了时间表示的传递性。
LLM在动力系统外推中的潜力
文章提到，预训练LLM在零样本预测受物理规律控制的动力系统时间序列时表现出色。LLaMA2无需微调或提示工程即可准确预测，且准确性随输入上下文窗口长度增加而提高，揭示了一种上下文版本的神经缩放定律。这展示了LLM在科学预测中的潜力。
Q&A
大型语言模型如何在时间序列预测中应用？
大型语言模型通过将时间序列编码为数字字符串，将预测视为文本中的下一个标记预测，展现出优异的零样本外推能力。
aLLM4TS框架的主要特点是什么？
aLLM4TS框架结合自监督学习和补丁解码层，重新构想时间序列预测为多补丁预测任务，显著提升时间序列表示的有效性。
引入外部知识对LLMs在时间序列预测中的影响是什么？
引入外部知识和自然语言改写有助于提升LLMs在时间序列预测中的性能，尤其在处理复杂数据时。
大型语言模型在零样本任务中的表现如何？
预训练的大型语言模型在零样本任务中表现出色，能够准确预测受物理规律控制的动力系统时间序列。
LLMs在时间序列分析中面临哪些挑战？
LLMs在缺乏周期性的数据集上面临挑战，尤其在处理没有明确模式和趋势的数据时表现不佳。
如何提高LLMs在时间序列预测中的准确性？
通过有效令牌化时间序列数据和结合自监督学习，可以提高LLMs在时间序列预测中的准确性。
