K-Sort Arena：基于K次人类偏好的生成模型高效可靠基准评估
内容提要
本文探讨了深度生成模型的评估方法，批评了Inception Score的局限性，并提出了基于人类偏好的新评估标准，如PickScore和VQAScore。研究引入了人类喜好数据集和框架，旨在提高生成模型与人类审美的对齐，强调系统评估的重要性，并展示了SafeSora数据集在文本到视频生成中的应用潜力。
延伸解读
从Inception Score到人类偏好：评估范式的转变
文章指出Inception Score在比较生成模型时未提供有用指导，这反映了传统自动评估指标的局限。随后，基于人类偏好的评估方法如PickScore、HPS v2和VQAScore被提出，它们通过收集大规模人类偏好数据训练评分模型，更贴近人类审美。这种转变强调评估应直接反映人类判断，而非依赖代理指标。
人类偏好评估的实践：数据集与评分模型
文章介绍了多个基于人类偏好的数据集和评分模型，如Pick-a-Pic、HPD v2和VisionPrefer。这些资源使研究人员能够训练出预测人类偏好的评分函数，例如PickScore在预测人类偏好上达到超人级性能。HPS v2则建立了基准评估标准。这些工具为系统比较生成模型提供了可复现的量化依据。
VQAScore的优势与复合提示评估
在GenAI-Bench上的研究表明，VQAScore在评估复合文本到视觉生成时明显优于CLIPScore等指标，且能通过简单排名少量候选图像显著提升生成速度。在需要高级视觉语言推理的复合提示下，其排名效果比PickScore、HPSv2和ImageReward提高2至3倍。这提示评估指标需适应复杂多模态任务。
SafeSora：文本到视频生成的价值对齐
文章引入SafeSora数据集，从帮助性和无害性两个维度评估文本到视频生成的人类偏好，并细分为4个子维度和12个子类别。该数据集可用于训练审查模型、微调对齐算法等，突显了在生成模型中融入人类价值观的重要性。这为视频生成的安全与伦理评估提供了新方向。
Q&A
Inception Score存在哪些局限性？
Inception Score在比较生成模型时未提供有用的指导，无法有效评估模型的性能。
什么是PickScore和VQAScore？
PickScore和VQAScore是基于人类偏好的新评估标准，用于更准确地评估生成模型的质量。
SafeSora数据集的主要用途是什么？
SafeSora数据集用于促进文本到视频生成与人类价值观的对齐研究，帮助评估生成内容的安全性和无害性。
如何提高生成模型与人类审美的对齐？
通过引入人类评分数据集和偏好分类器，调整生成模型以生成更符合人类审美的图像。
ViGoR框架的主要贡献是什么？
ViGoR框架通过细粒度的奖励建模显著提高了大型视觉语言模型在视觉grounding上的效果，减少了视觉输入的不准确性。
如何评估文本到图像生成模型的质量？
可以使用基于人类偏好的评分函数如PickScore，以及引入人类喜好数据集进行评估。
