多句视频定位用于长视频生成
原文中文，约600字，阅读约需2分钟。发表于：。我们提出了一种新的多句视频定位方法，将视频检索与视频生成任务相连，为长视频生成提供了一种新的范式。通过使用序列场景文本提示作为视频定位的查询，利用大规模视频时刻检索在视频数据库中搜索满足文本要求的视频时刻片段，再通过视频编辑等方法创建新的视频内容并保持时间上的连贯性，从而大大降低了内存成本。此外，我们还尝试了视频变形和个性化生成方法来改善长视频生成的主题连贯性，为长视频生成的子任务提供了实验...
LLM4VG基准测试评估了不同LLM模型在视频对齐任务上的性能。实验比较了基于文本-视频对训练的视频LLM和与预训练的视觉描述模型结合的LLM。结果显示，VidLLM需要微调以提高视频对齐性能，而LLM和视觉模型的组合显示出初步的视频对齐能力，有改进潜力。
