运用语言模型接近人类水平的预测
内容提要
多项研究探讨大语言模型（LLMs）在预测中的表现。零售预测中，LLMs不总优于人类，促销期和外部影响下误差更高；在具明确趋势的数据上表现好，但缺乏周期性时受限，引入外部知识可提升性能。LLM辅助能提高预测准确性。综述指出其依赖历史数据、泛化差、幻觉和算力需求等挑战。金融和能源预测中，GPT-4等模型优于传统方法。总体需谨慎应用。
延伸解读
零售预测中LLM并非总是优于人类
一项涵盖123位人类预测者和5个LLM的研究显示，LLM在零售销售预测中并不一致地胜过人类，且高级统计模型也未稳定提升表现。促销期和积极外部影响下，人类与LLM的预测误差均更高。这表明在实际零售预测中，引入LLM需谨慎，不能假设其必然带来精度提升。
LLM预测的适用条件与增强策略
LLM在具有明确趋势和模式的时间序列上表现良好，但缺乏周期性时面临挑战。引入外部知识或采用自然语言改写可提升其预测性能。此外，LLM辅助能显著提高人类预测准确性，即使助手存在倾向性。因此，在合适的数据条件下，LLM可作为有效的决策辅助工具。
金融与能源领域的LLM应用优势
在金融时间序列预测中，GPT-4和Open LLaMA等模型通过零样本/少样本推断和指令微调，优于经典ARMA-GARCH和梯度提升树模型。在能源负荷预测中，将能耗数据转化为描述性句子并微调语言模型，也能实现准确预测。这些案例表明LLM在特定领域具有超越传统方法的潜力。
LLM预测的局限与风险
综述指出LLM在预测中依赖大量历史数据，泛化能力差，易产生幻觉，且需要大量算力。此外，LLM受训练任务中的概率影响，在低概率输出场景下准确率显著下降，例如GPT-4解码简单密码的准确率从51%降至13%。因此，在低概率情况下使用LLM需格外谨慎。
Q&A
大型语言模型在零售销售预测中真的比人类专家更准确吗？
不一定。一项研究比较了123位人类预测者和5个LLMs（包括ChatGPT4、ChatGPT3.5、Bard、Bing和Llama2）在零售标准销售期和促销销售期的预测准确性，发现LLMs并不一致地胜过人类。在促销期间和受到积极外部影响时，人类和LLM预测者的误差都更高。
大型语言模型在时间序列预测中有什么优势和局限？
优势：在具有明确模式和趋势的数据上，LLMs表现出色；引入外部知识和采用自然语言改写可以提升预测性能。局限：在缺乏周期性的数据集上面临挑战，且依赖大量历史数据、泛化能力差、可能产生幻觉、知识范围有限，并需要大量计算资源。
LLM辅助能提高预测准确性吗？
可以。研究表明，与对照组相比，LLM辅助可以显著提高预测准确性，即使是面对回答不确定的认知要求高的任务，使用LLM助手（即使是倾向性的助手）仍然可以作为有益的决策辅助。
在金融时间序列预测中，LLM相比传统模型表现如何？
在NASDAQ-100股票上的实验显示，使用GPT-4和Open LLaMA等新型模型进行零样本/少样本推断，并通过基于指令的微调生成可解释预测，优于经典的ARMA-GARCH模型和梯度提升树模型。
LLM在能量负荷预测中如何应用？
一种新颖的方法通过教导技术将能量消耗数据转化为描述性句子，实现语言模型的微调，并采用自回归生成方法，能够对未来能量负荷消耗的各种时间段进行预测。实验证明该方法有效且准确，有望提高能源效率并促进智能决策。
使用LLM进行预测时需要注意哪些风险或挑战？
主要挑战包括：依赖大量历史数据集、在不同背景中的泛化问题、模型产生幻觉、模型知识范围的局限性以及需要大量计算资源。此外，LLM在低概率情况下准确性会下降，例如GPT-4解码简单密码时，高概率输出准确率为51%，低概率时仅13%。因此，在低概率情况下使用LLM需谨慎。
