面向时间序列推理的多模态大语言模型研究

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

大型语言模型(LLMs)如GPT-3和LLaMA-2可以通过编码时间序列为数字字符串来外推时间序列,性能与专用时间序列模型相当。LLMs能够自然地表示多模态分布,处理缺失数据,容纳文本边信息,并回答问题以帮助解释预测。增加模型大小通常提高时间序列性能,但GPT-4可能由于令牌化数字和较差的不确定性校准而表现更差。

🎯

关键要点

  • 通过将时间序列编码为数字字符串,可以将时间序列预测视为文本中的下一个标记预测。
  • 大型语言模型(LLMs)如GPT-3和LLaMA-2在零样本外推时间序列方面表现出色,其性能与专用时间序列模型相当或更好。
  • LLMs能够自然表示多模态分布,结合对简洁性和重复性的偏好,这与时间序列的显著特征一致。
  • LLMs能够处理缺失数据而无需插补,容纳文本边信息,并回答问题以帮助解释预测。
  • 增加模型大小通常提高时间序列性能,但GPT-4由于令牌化数字和较差的不确定性校准可能表现更差。
➡️

继续阅读