StoryTeller: Improving Long Video Descriptions through Global Audio-Visual Character Recognition

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了名为StoryTeller的系统,旨在改善长视频描述中的情节一致性问题。通过音视频角色识别和多模态结合,StoryTeller显著提高了描述的准确性,实验结果显示其准确率比最强基线模型提高了9.5%。

🎯

关键要点

  • 现有的大型视觉语言模型在处理长视频描述时存在局限性,尤其是在情节一致性方面。
  • 本研究提出了名为StoryTeller的系统,通过音视频角色识别和多模态结合来改善长视频的描述。
  • StoryTeller显著提高了描述的一致性,实验结果显示其准确率比最强基线模型提高了9.5%。
  • 在评估中,StoryTeller获得了明显的人工评比优势,表现优异。
➡️

继续阅读