LLM用于时序预测真的不行，连推理能力都没用到
内容提要
该研究探讨了语言模型在时序预测任务中的应用，发现其性能不佳且计算量大。研究团队提出了三种消融方法来评估语言模型的影响，发现这些方法在大多数情况下优于基于语言模型的方法。预训练语言模型对时序预测的帮助有限，基于语言模型的方法的计算强度并不能提升性能。总之，语言模型在时序预测任务中的应用有待改进。
延伸解读
语言模型在时序预测中的实际表现
文章通过大量消融实验发现，在8个标准数据集上，移除语言模型组件后的消融方法在大多数情况下优于基于LLM的方法。例如，在26个案例中，消融方法全部优于Time-LLM，在22个案例中优于LLaTA，在19个案例中优于OneFitsAll。这表明预训练语言模型对时序预测的帮助有限，甚至可能拖累性能。
计算成本与性能的严重失衡
基于LLM的方法计算开销巨大。以Time-LLM为例，其参数量高达6642M，在Weather数据集上训练耗时3003分钟，而消融方法仅需0.245M参数和平均2.17分钟。推理时间上，Time-LLM、OneFitsAll、LLaTA分别是消融方法的28.2倍、2.3倍和1.2倍。然而，这种高计算强度并未带来性能提升，反而多数情况下性能更差。
预训练语言知识对时序预测的贡献有限
研究通过对比预训练+微调、随机初始化+微调等组合发现，随机初始化+微调在8个数据集上获得8次最佳表现，而预训练+微调仅3次最佳。此外，预训练+无微调与随机初始化+无微调的表现对比显示，语言知识对微调过程的帮助也不大。这说明预训练获得的文本知识难以有效迁移到时序预测任务中。
简单编码技术反而更有效
文章指出，将patching和单层注意力结合的结构在小数据集（时间戳少于100万）上表现优异，甚至能与LLM方法媲美。对于更大的数据集，基本Transformer的单层线性模型编码表现更优。这表明，在时序预测中，简单的编码技术如patching和注意力机制可能比复杂的LLM更有效，且计算成本更低。
Q&A
语言模型在时序预测中的表现如何？
语言模型在时序预测任务中的表现不佳，计算量大，且在大多数情况下不如消融方法。
研究团队提出了哪些消融方法？
研究团队提出了三种消融方法：w/o LLM、LLM2Attn和LLM2Trsf。
预训练语言模型对时序预测的帮助大吗？
预训练语言模型对时序预测的帮助有限，尤其在少样本学习场景中表现不佳。
消融方法的计算成本与基于LLM的方法相比如何？
消融方法的计算成本显著低于基于LLM的方法，且在性能上通常更优。
LLM能否有效表征时间序列中的顺序依赖关系？
LLM在表征时间序列中的顺序依赖关系方面能力不足，输入混洗对其影响不大。
在少样本学习场景中，LLM的表现如何？
在少样本学习场景中，LLM的表现与消融方法相似，未能显著提升性能。
