量子位
·
北大开源首个针对视频编辑的新指标，与人类感知高度对齐｜AAAI25
内容提要
北京大学MMCAL团队开发了首个视频编辑质量评估指标VE-Bench，专注于编辑结果与原始视频的语义相关性。该指标通过丰富的数据集和创新的测试方法，提供了更符合人类感知的评价标准，并已被AAAI 2025会议录用。
关键要点
-
北京大学MMCAL团队开发了首个视频编辑质量评估指标VE-Bench。
-
VE-Bench专注于编辑结果与原始视频的语义相关性。
-
该指标通过丰富的数据集和创新的测试方法，提供了更符合人类感知的评价标准。
-
VE-Bench DB包含来自真实世界场景、CG渲染内容和AIGC视频的数据。
-
提示词分为风格编辑、语义编辑和结构编辑三大类别。
-
VE-Bench选取了8种视频编辑方法进行评估。
-
主观实验由24位受试者进行打分，符合ITU标准。
-
VE-Bench QA从文本-视频一致性、源视频-编辑后视频动态相关性和视觉质量三个维度进行评估。
-
实验结果显示，VE-Bench QA在多个数据集上的预测结果领先于其他方法。
-
相关论文已被AAAI 2025会议录用。
延伸解读
VE-Bench的创新性
VE-Bench作为首个专注于视频编辑质量评估的指标，强调了编辑结果与原始视频的语义相关性。这种创新不仅提升了视频编辑的评价标准，也为未来的AI视频编辑技术提供了更为精准的参考框架。
数据集的多样性
VE-Bench DB的构建考虑了多种视频来源，包括真实场景、CG渲染和AIGC视频。这种多样性确保了评估的全面性，使得VE-Bench能够更好地反映人类的主观感受，提升了评估结果的可信度。
主观评价的重要性
VE-Bench通过24位受试者的主观评分来确保评估的可靠性。这种方法符合ITU标准，强调了人类感知在视频编辑质量评估中的重要性，未来的研究可以进一步探索如何优化这一过程。
延伸问答
VE-Bench指标的主要功能是什么？
VE-Bench指标主要用于评估视频编辑质量，关注编辑结果与原始视频的语义相关性。
VE-Bench是如何构建其数据库的？
VE-Bench DB通过收集真实世界场景、CG渲染内容和AIGC视频，确保数据多样性。
VE-Bench QA的评估维度有哪些？
VE-Bench QA从文本-视频一致性、源视频与编辑后视频动态相关性和视觉质量三个维度进行评估。
VE-Bench在视频编辑领域的创新之处是什么？
VE-Bench通过创新的测试方法和丰富的数据集，提供了更符合人类感知的评价标准。
VE-Bench的主观实验是如何进行的？
主观实验由24位受试者进行打分，符合ITU标准，评估文本与视频一致性等多个方面。
VE-Bench的实验结果与其他方法相比如何？
实验结果显示，VE-Bench QA在多个数据集上的预测结果领先于其他视频质量评价方法。
