MM-预测：基于大型语言模型的多模态时间事件预测方法
内容提要
本文探讨了大型语言模型（LLMs）在事件预测中的应用，强调通过微调和检索模块提升性能。研究表明，多模态模型在时间活动定位方面表现优越，并提出了解决事件级幻觉问题的新方法。同时，评估了LLMs与传统时间序列预测方法的优缺点，指出模型在未来事件预测中仍面临挑战。
延伸解读
微调与检索模块的协同作用
文章指出，将原始文本融入特定复杂事件并对LLMs进行微调，比直接输入原始文本更能提升事件预测性能。同时，检索模块能有效捕捉历史事件中隐藏的时间关系模式。这表明，单纯依赖LLMs的通用能力不足，需结合领域微调和外部检索来增强对时间关系的建模。
多模态模型在时间活动定位中的优势
通过结合图像和文本LLMs的两阶段方法，多模态模型在时间活动定位上超越了基于视频的模型。对较小多模态模型进行指令微调，能提高其处理动作查询的能力，生成更富表达力的输出，从而更准确地识别特定时间活动间隔。这突显了多模态融合在视频理解中的潜力。
事件级幻觉与时间理解挑战
文章提出新方法解决多模态LLMs中的事件级幻觉问题，强调时间理解的重要性。通过提取事件查询和视频中的事件特定信息，该方法在Charades-STA数据集上评估，为定量测量多模态LLMs在时间相关问题上的表现提供了新视角，有助于缓解模型对时间内容的误解。
LLMs预测未来事件的局限性
评估显示，LLMs在预测未来事件时仍面临困难，可能因为模型倾向于猜测大多数事件不太可能发生，这虽在预测数据集中常见，却不反映实际预测能力。与传统时间序列方法相比，LLMs在宏观经济预测中既有优势也有局限，表明需开发更系统可靠的预测方法。
Q&A
大型语言模型在事件预测中如何提高性能？
通过微调和检索模块，LLMs的性能显著提高。
多模态模型在时间活动定位方面的优势是什么？
多模态模型在时间活动定位中表现优越，超越了现有基于视频的模型。
如何解决多模态LLMs中的事件级幻觉问题？
提出了一种新方法，重点关注视频内容中的时间理解问题。
LLMs与传统时间序列预测方法相比有哪些优缺点？
LLMs在宏观经济预测中存在优势和局限性。
模型在预测未来事件时面临哪些挑战？
模型倾向于猜测不太可能发生的事件，导致预测困难。
如何利用大型语言模型进行时间序列分析？
可以通过直接提示、时间序列量化和对齐技术等方法进行分析。
