LLM4TS:基于预训练 LLM 的两阶段微调用于时间序列预测
我们利用预训练的大型语言模型 (LLMs) 提升时间序列预测的能力,通过结合时间序列拼接和时间编码,增强了 LLMs 处理时间序列数据的能力,采用两阶段的精调过程,并采用多种参数高效精调技术 (PEFT),LLM4TS 在长期预测方面取得了最先进的结果。
本文总结了使用当今的语言模型(LLM)完成时间序列(TS)任务的两种策略:LLM-for-TS和TS-for-LLM。作者关注TS-for-LLM方法,通过设计一种适用于LLM的TS嵌入方法来激活LLM对TS数据的处理能力。实验证明,尽管结果无法超过定制的最先进模型,但LLM可以处理TS数据。本文旨在鼓励进一步研究。