E-Bench：面向文本驱动的视频编辑质量评估的主观对齐基准套件
内容提要
本文提出了一种基于文本的语义相关质量评价方法(SAQI)及其改进版，结合低级指标形成统一盲视频质量指数(BVQI)。研究评估了视频质量，构建了Maxwell数据库，并提出MaxVQA方法。通过EditVal基准测试，评估了多种图像编辑方法的性能，发现没有单一方法在所有编辑类型上表现最佳。此外，提出了Text-to-Video Score (T2VScore)评估指标，验证其优越性，并研究了视频生成模型的差异。
延伸解读
评估方法演进：从低级指标到语义对齐
文章梳理了视频质量评估从SAQI、BVQI等基于低级指标的方法，到MaxVQA等基于视觉语言模型的方法的演进。这些方法试图解决传统指标难以捕捉语义匹配和自然性的问题，但文章也指出没有单一度量能完全捕捉T2V输出的微妙之处，暗示评估仍需多维度结合。
文本引导编辑的基准测试发现
EditVal基准测试对8种扩散编辑方法的评估显示，Instruct-Pix2Pix和Null-Text在保持原图特性上表现最佳，但大多数方法在空间操作上失败，且没有一种方法在所有编辑类型上排名最佳。这表明文本引导编辑工具仍有局限，未来需针对不同编辑类型开发更可靠的方法。
T2VScore与VQAScore：评估指标的新进展
T2VScore综合考虑文本-视频对齐和视频质量，在TVGE数据集上验证了优越性；VQAScore在GenAI-Bench上显著优于CLIPScore等指标，并能通过简单排名加速生成。这些新指标利用Transformer和大型语言模型，提升了与人类主观评价的对齐程度，为生成模型评估提供了更可靠的依据。
视频生成与编辑模型的性能差异
通过VBench和VCoME等研究，文章揭示了当前视频生成模型在多个维度上的能力差异，以及视频与图像生成模型之间的差距。VCoME在口述性视频生成上效果和效率超过专业编辑人员，但整体上模型在不同内容类型和编辑任务上表现不均，说明通用视频编辑仍面临挑战。
Q&A
什么是SAQI方法，它的改进版本是什么？
SAQI是一种基于文本的语义相关质量评价方法，其改进版本为SAQI-Local。
BVQI和BVQI-Local有什么区别？
BVQI是统一盲视频质量指数，BVQI-Local是其改进版，结合了现有低级指标。
MaxVQA方法是如何评估视频质量的？
MaxVQA是一种基于Vision-Language模型的视频质量评估方法，通过构建Maxwell数据库进行评估。
EditVal基准测试的目的是什么？
EditVal基准测试用于定量评估文本引导的图像编辑方法，比较多种编辑方法的性能。
T2VScore评估指标的优势是什么？
T2VScore综合考虑文本-视频对齐和视频质量，实验证明其优越性。
VQAScore与其他评估指标相比有什么优势？
VQAScore在黑盒基础上通过简单排名显著提高生成速度，且优于先前的评估指标。
