LVSum：一个用于时间戳感知的长视频摘要基准
内容提要
LVSum是一个用于评估长视频摘要的新基准，包含72个跨13个领域的视频，平均时长16分钟，每个视频有最多10个人工摘要及时间参考。研究发现，转录文本比视觉帧对摘要质量贡献更大，模型与人类摘要仍有差距，且现有模型在时间定位、指令遵循和跨模态一致性上存在明显不足。
延伸解读
转录文本的主导作用
LVSum的评估显示，转录文本对摘要质量的贡献远大于视觉帧。这意味着当前MLLMs在长视频摘要任务中可能过度依赖语言信息，而视觉理解能力相对薄弱。对于开发者而言，优化视频摘要模型时，应重视语音识别和文本处理模块，但也要警惕模型可能忽视视觉细节，导致摘要缺乏对非语言内容的覆盖。
时间定位的短板
LVSum揭示了现有模型在时间定位上的系统性弱点，即难以准确关联摘要内容与视频中的具体时间点。这在实际应用中会影响用户对摘要的信任度，例如在视频检索或事件导航场景中。模型需要更强的时序建模能力，而不仅仅是理解内容，才能生成具有可靠时间参考的摘要。
基准的评估方法
LVSum引入了基于LLM的评估指标，用于衡量内容相关性和模态一致性，这比传统自动指标更贴近人类判断。但LLM评估本身可能存在偏差，且基准仅包含72个视频，覆盖13个领域，样本量有限。因此，在解读结果时，应将其视为趋势性发现，而非绝对结论，未来需要更大规模、更多样化的基准来验证。
Q&A
LVSum基准是什么？
LVSum是一个用于评估长视频摘要的基准，包含72个跨13个领域的视频，平均时长16分钟，每个视频有最多10个人工摘要及时间参考。
LVSum基准包含多少视频和领域？
LVSum包含72个视频，覆盖13个领域，平均时长16分钟。
LVSum基准的标注方式是什么？
每个视频由人工生成最多10个摘要，并包含时间参考，用于评估时间对齐。
LVSum基准的主要发现有哪些？
主要发现包括：转录文本比视觉帧对摘要质量贡献更大；模型生成的摘要与人类摘要仍有显著差距；现有模型在时间定位、指令遵循和跨模态一致性上存在明显不足。
LVSum基准使用什么评估指标？
LVSum使用新提出的基于LLM的指标（内容相关性和模态一致性）以及标准自动指标。
LVSum基准评估了哪些模型？
评估了领先的专有和开源多模态大语言模型（MLLMs）。
