将字幕付诸测试：通过多项选择问答评估视频字幕质量
内容提要
研究提出CapQuiz，一种无参考视频字幕评测基准，通过人工验证的多选题考察字幕信息保真度，涵盖10类问题、24个视频领域，并设计CapF1指标综合衡量事实性与覆盖度。实验表明其与人类判断相关性显著优于现有指标，可提供可解释的模型性能分析。
延伸解读
为何需要新的评测基准
现有视频字幕评测主要依赖与参考文本的匹配，但视频描述存在“一对多”特性，高质量字幕常因词汇不匹配或视觉焦点合理偏移而被扣分。此外，传统指标维度单一，无法细粒度分析字幕质量。CapQuiz通过信息保真度重新定义质量，要求字幕在确保事实性的同时最大化覆盖显著视觉信息，从而更贴近人类判断。
CapQuiz的设计与特点
CapQuiz是一种无参考基准，通过人工验证的细粒度多项选择题评估字幕在回答视频相关问题时的效用。它包含10种问题类型（描述性和推理性）和24个视频领域，形成分层分类体系。基于此，研究提出CapF1复合指标，综合衡量事实性（CapP）和覆盖度（CapR），为字幕质量提供可解释的量化分析。
实验表现与优势
大量实验表明，CapQuiz与人类判断的相关性显著优于现有指标，并能提供可解释的模型性能分析。这意味着CapQuiz不仅更准确地评估字幕质量，还能帮助研究者理解模型在哪些方面表现良好或不足，从而指导模型改进。
Q&A
CapQuiz是什么？它有什么特点？
CapQuiz是一种无参考视频字幕评测基准，通过人工验证的多选题评估字幕质量。它涵盖10类问题（描述性和推理性）和24个视频领域，并设计了CapF1指标综合衡量事实性与覆盖度。
为什么现有的视频字幕评估指标不够好？
现有指标主要依赖将生成文本与参考文本进行匹配，但视频描述存在“一对多”问题，高质量字幕常因词汇不匹配或视觉焦点合理偏移而被惩罚。此外，评估通常是单维的，无法对字幕质量进行细粒度分析。
CapF1指标是如何构成的？
CapF1是一个复合指标，综合了CapP（衡量事实性）和CapR（衡量覆盖度）两个部分。
CapQuiz与人类判断的相关性如何？
实验表明，CapQuiz与人类判断的相关性显著优于现有指标，并能提供可解释的模型性能分析。
CapQuiz包含哪些类型的问题？
CapQuiz包含10种问题类型，分为描述性和推理性两个层级类别，覆盖24个不同的视频领域。
CapQuiz如何重新定义字幕质量？
CapQuiz通过信息保真度重新定义字幕质量：字幕必须最大化对显著视觉信息的覆盖，同时确保严格的事实性。
