STBench: 大型语言模型在时空分析中的能力评估
内容提要
本文研究了大型语言模型在时间推理任务中的性能，提出了STG-LLM方法以解决序列文本与空间-时间数据的不匹配问题，并创建了TimeBench基准来评估模型的时间推理能力。研究表明，当前模型在时间理解方面存在显著不足，尤其在处理复杂问题时表现不佳，强调了改进的必要性。
延伸解读
时间推理评估的多样化基准
文章介绍了多个评估大型语言模型时间推理能力的基准，如TimeBench、CoTempQA和Freshbench。TimeBench是分层基准，涵盖广泛时间推理现象；CoTempQA专注于共时场景；Freshbench动态生成现实世界预测评估。这些基准从不同角度揭示了模型的不足，为全面评估提供了工具。
模型在时间理解上的具体短板
研究发现，大型语言模型在时间推理任务中表现不佳，尤其在处理关于过去和新信息的详细问题时存在多个时间错误。在CoTempQA共时推理任务上，模型表现明显低于人类水平，即使采用思维链方法仍难以提升。这表明模型在复杂时间理解上存在显著局限。
STG-LLM：弥合序列文本与时空数据的鸿沟
针对序列文本与复杂空间-时间数据之间的不匹配问题，文章提出了STG-LLM方法。通过STG-Tokenizer和STG-Adapter，将大型语言模型的能力应用于空间-时间预测，取得了与专用方法相媲美的竞争性性能。这为LLM在时空分析领域的应用提供了新思路。
Q&A
STBench的主要研究内容是什么？
STBench研究大型语言模型在时间推理任务中的性能，提出STG-LLM方法以解决序列文本与空间-时间数据的不匹配问题，并创建TimeBench基准评估模型的时间推理能力。
STG-LLM方法的作用是什么？
STG-LLM方法解决了序列文本与复杂空间-时间数据之间的不匹配问题，提升了大型语言模型在空间-时间预测中的性能。
TimeBench基准的目的是什么？
TimeBench基准旨在全面评估大型语言模型的时间推理能力，帮助研究人员理解模型在时间理解方面的不足。
当前大型语言模型在时间推理方面存在哪些不足？
当前模型在处理复杂时间问题时表现不佳，尤其在关于过去和新信息的详细问题上存在多个时间错误。
CoTempQA数据集的用途是什么？
CoTempQA数据集用于评估大型语言模型的共时理解和推理能力，发现当前模型表现低于人类水平。
Freshbench评估框架的特点是什么？
Freshbench是一个动态生成现实世界预测评估基准的框架，旨在提升大型语言模型的评估方法。
