基于多模态大模型的细粒度视频质量评估方法 | CVPR 2025 Highlight

基于多模态大模型的细粒度视频质量评估方法 | CVPR 2025 Highlight

💡 原文中文,约2900字,阅读约需7分钟。
📝

内容提要

bilibili与上海交通大学联合发布全球首个大规模细粒度UGC视频质量评估数据库FineVD,并提出FineVQ模型,提供涵盖色彩、噪声等六个维度的视频质量评估,旨在提升UGC视频的质量监控与优化。

🎯

关键要点

  • bilibili与上海交通大学联合发布全球首个大规模细粒度UGC视频质量评估数据库FineVD。

  • FineVD数据库包含6,104条UGC视频,提供80w+的多维度细粒度质量评分与描述。

  • FineVQ模型支持质量评级、分数预测、问题归因三大功能,评估六个维度的质量。

  • FineVQ在FineVD及主流UGC-VQA数据集上表现出最佳性能,已被CVPR 2025正式接收。

  • FineVD视频收集过程遵循全面覆盖UGC场景和反映实际在线统计的原则。

  • FineVQ通过视觉特征提取、特征对齐融合和指令微调大语言模型进行多维度质量评估。

  • FineVQ在失真类型预测和质量分数预测上展示出优越性能,超越传统和深度学习方法。

  • FineVD数据集的多样性和广泛分布增强了FineVQ模型的泛化能力。

延伸问答

FineVD数据库包含多少条UGC视频?

FineVD数据库包含6,104条UGC视频。

FineVQ模型的主要功能是什么?

FineVQ模型支持质量评级、分数预测和问题归因三大功能。

FineVD数据库是如何收集视频的?

FineVD数据库通过手动筛选,确保视频场景和质量属性的多样性,覆盖广泛的UGC场景和不同的失真。

FineVQ模型在视频质量评估中表现如何?

FineVQ在FineVD及主流UGC-VQA数据集上表现出最佳性能,超越传统和深度学习方法。

FineVD数据库的多样性对FineVQ模型有什么影响?

FineVD数据集的多样性和广泛分布增强了FineVQ模型的泛化能力。

FineVQ模型是如何进行多维度质量评估的?

FineVQ通过视觉特征提取、特征对齐融合和指令微调大语言模型进行多维度质量评估。

➡️

继续阅读