LLMs 学习动力系统的控制原则，揭示上下文中的神经缩放定律
内容提要
本文综述大语言模型在时间序列预测中的应用：将数值序列转为文本令牌，利用GPT-4、LLaMA等进行零样本或少样本推断，性能可超越ARMA-GARCH和梯度提升树，并能处理缺失数据、融合新闻文本、解释预测。研究还分析了模型规模、分词方式与对齐干预对效果的影响，并探讨其能力边界与失效模式。
延伸解读
LLM时间序列预测的实用优势
文章指出，大语言模型在金融时间序列预测中展现出独特优势：无需插补即可处理缺失数据，能融合新闻文本等边信息，并生成可解释的预测。在NASDAQ-100股票实验中，GPT-4和Open LLaMA的零样本或少样本推断性能超越了ARMA-GARCH和梯度提升树等经典基准。这为从业者提供了一种新思路，尤其在多模态信号融合和解释性要求高的场景中。
模型规模并非越大越好
尽管增加模型规模通常能提升时间序列预测性能，但文章发现GPT-4可能因数字令牌化方式和对齐干预（如RLHF）导致的不确定性校准较差，表现反而不如GPT-3。这提醒我们，在应用LLM时需关注具体实现细节，而非盲目追求更大模型。对齐干预可能引入意外副作用，影响数值任务的可靠性。
低概率场景下的失效风险
文章通过实验揭示，LLM在输出低概率序列时准确率显著下降，例如GPT-4解码简单密码的准确率从高概率时的51%降至13%。这表明在低概率或确定性环境中，LLM可能不可靠。从业者应在低概率场景中谨慎使用LLM，并考虑其基于互联网文本下一个词预测的训练本质，避免将其简单类比人类评估。
Q&A
大语言模型在时间序列预测中表现如何？
大语言模型如GPT-4和LLaMA在时间序列预测中，通过零样本或少样本推断，性能可超越ARMA-GARCH和梯度提升树等经典模型，并能处理缺失数据、融合文本信息并解释预测。
为什么大语言模型能用于时间序列预测？
大语言模型能自然表示多模态分布，偏好简洁性和重复性，这与时间序列的重复季节性趋势等特征一致，因此能有效进行时间序列预测。
大语言模型处理时间序列时有哪些优势？
大语言模型能自然处理缺失数据而无需插补，容纳文本边信息，并回答问题以帮助解释预测。
模型规模增大总能提升时间序列预测性能吗？
不一定。增加模型大小通常会提高性能，但GPT-4可能因数字令牌化方式和对齐干预（如RLHF）导致的不确定性校准较差，而比GPT-3表现更差。
大语言模型在时间序列预测中有哪些局限性？
局限性包括：令牌化数字的方式可能影响性能，对齐干预可能导致不确定性校准差，以及在某些情况下模型规模增大反而性能下降。
Time-LLM是什么？
Time-LLM是一个通过重新编程框架将时间序列与文本原型对齐的强大时间序列学习器，在少样本和零样本场景中超越专业预测模型。
