ReXTime: 视频跨时间推理的基准套件
内容提要
本文介绍了TimeBench，一个评估大型语言模型（LLMs）时间推理能力的基准。研究表明，当前LLMs在时间推理任务上仍显著落后于人类。通过系统研究和新型学习框架，提出了提升时间推理能力的方法，并开发了表现优异的Timo模型。希望这些研究能促进LLMs在时间推理方面的进步。
延伸解读
时间推理的评估工具：TimeBench 与 TRAM
文章介绍了多个时间推理基准，如 TimeBench 和 TRAM。TimeBench 是一个分层基准，涵盖广泛的时间推理现象；TRAM 由十个数据集组成，用于评估大型语言模型的时间推理能力。这些基准为研究人员提供了全面评估模型时间推理能力的工具，并揭示了当前模型与人类之间的性能差距。
提升时间推理能力的学习框架与模型
研究提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架，以提高大型语言模型的时间推理能力。基于此框架开发的 Timo 模型在 7B 和 13B 规模上表现出色，平均准确度超过同类 LLMs。这表明针对性的学习框架能有效提升模型的时间推理性能。
共时推理与视频理解中的时间挑战
文章还涉及共时推理和视频理解中的时间推理。CoTempQA 数据集用于评估共时理解和推理，发现当前模型表现低于人类水平。NExT-QA 视频问答基准旨在将视频理解从描述转化为解释时间动作，但现有方法在因果和时间动作推理方面较弱。这些领域凸显了时间推理的挑战。
时间推理的局限与未来方向
时间序列推理是语言模型研究中尚未充分发展的方向，语言模型在此方面仍存在局限性。此外，多模态模型在视频理解和推理中也面临困难，开源视频 LMM 性能低于 GPT-4o 和 Gemini-1.5。这些发现指出了未来研究需要关注的方向，以推动时间推理能力的进步。
Q&A
TimeBench是什么，它的目的是什么？
TimeBench是一个广泛的分层时间推理基准，旨在评估大型语言模型的时间推理能力。
当前大型语言模型在时间推理任务上的表现如何？
当前最先进的LLMs在时间推理任务上与人类存在显著性能差距。
Timo模型在时间推理方面的表现如何？
Timo模型在时间推理方面表现优异，平均准确度超过同类LLMs。
CoTempQA数据集的用途是什么？
CoTempQA数据集用于评估大型语言模型的共时理解和推理能力。
NExT-QA基准的目标是什么？
NExT-QA是一个视频问答基准，旨在提升视频理解的因果和时间动作推理能力。
时间序列推理在语言模型研究中的现状如何？
时间序列推理是一个尚未充分发展的研究方向，语言模型在此方面仍存在局限性。
