重新思考文本到视频模型的人工评估协议：提升可靠性、可复现性和实用性
内容提要
本文评估了文本到视频（T2V）生成模型的质量度量，提出了新的评估指标T2VScore，强调自然性和语义匹配的重要性。同时引入了TVGE数据集，以改进T2V生成的评估方法，并提出FETV基准用于细粒度评估。分析现有自动评估指标发现其与人工评估相关性较差，因此提出了新的自动评估指标以提高相关性。
延伸解读
人工评估协议为何需要规范化
文章调查了37篇近期论文，发现许多作品仅依赖自动度量或执行不可靠、不可重复的人工评估。这导致评估结果难以验证和比较，阻碍了领域进展。作者因此提出规范化的人工评估协议，并提供公开资源以促进可重复评估。
自动指标与人工评估的差距
在FETV基准上对四个代表性T2V模型进行手动评估后，作者发现现有自动评估指标与人工评估的相关性较差。为此，他们提出了两个新的自动评估指标，这些指标与人工评估的相关性更高，为未来评估提供了更可靠的工具。
T2VScore与TVGE数据集的贡献
T2VScore综合考虑文本-视频对齐和视频质量两个关键要素，在TVGE数据集上的实验证明了其优越性。TVGE数据集旨在评估和促进未来文本到视频生成指标的改进，为社区提供了更全面的评估基础。
从T2I评估中借鉴的细粒度框架
文章还提出了一种用于文本到图像生成模型的细致评估框架，将评估分为图像质量（美学和真实性）和文本条件（概念覆盖和公平性）两组。该框架具有灵活性，可应用于其他形式的图像生成，为更复杂的生成模型评估铺平道路。
Q&A
T2VScore是什么，它的主要特点是什么？
T2VScore是一种新的评估方法，综合考虑文本-视频对齐和视频质量，强调自然性和语义匹配的重要性。
TVGE数据集的目的是什么？
TVGE数据集旨在评估和促进文本到视频生成的指标改进，提供更好的评估基础。
现有的自动评估指标存在什么问题？
现有的自动评估指标与人工评估的相关性较差，许多研究仅依赖这些自动度量，缺乏可靠性。
FETV基准的作用是什么？
FETV基准用于细粒度评估文本到视频生成，基于三个正交方面对提示进行分类，提供全面的手动评估。
如何提高文本到视频生成模型的评估可靠性？
通过引入新的评估指标和数据集，设计规范化的人工评估协议，可以提高评估的可靠性和可复现性。
文章中提到的基于问答的自动评价度量有什么优势？
基于问答的自动评价度量能够更好地与人类评分相关联，提高评估的准确性。
