通过多模态大型语言模型实现以语言为驱动的视频修复
内容提要
该文综述基于深度学习的图像与视频修复，涵盖修复流程、网络架构与模块设计，并讨论训练目标、基准数据集、评估指标及各方法的优劣与应用。
延伸解读
多模态提示如何改变视频修复
文章提到 IMProv 模型能从多模态提示中进行上下文学习，并通过文本条件和数据集缩放提升任务性能。这意味着视频修复不再只依赖视觉掩码，语言描述可提供高层语义引导，帮助模型理解缺失区域应呈现的内容。但文章未说明该模型在视频修复上的具体量化结果，读者需注意其能力边界仍受训练数据与提示质量影响。
音频-视觉先验的实际价值与局限
文章介绍了一种音频-视觉语音修复框架，并设计音频-视觉关注损失和伪类一致性损失，将对应关系先验传递给修复网络。实验显示该方法在声音对象局部遮挡时特别有效，能恢复更广泛的视频场景。不过，其优势集中在语音相关场景，对于无声或音频与画面弱相关的视频，这类先验可能无法直接迁移，实际应用需评估场景匹配度。
无需训练先验的生成式修复路线
文章提到基于 Deep Image Prior 的卷积网络可同时生成缺失外观和光流信息，采用无需先验训练的生成式方法，并取得良好视觉效果与长期一致性。这为缺乏大规模配对训练数据的场景提供了替代思路。但文章未给出与监督方法在基准数据集上的直接对比，读者应关注其计算成本与在复杂动态纹理下的稳定性。
从图像编辑到视频修复的意图迁移
ImageBrush 将视觉指示学习形式化为基于扩散填充的图像修复问题，能从仅含视觉演示的新图像中提取底层意图，并泛化到姿势转移、图像翻译和视频修复等任务。这表明视频修复可借鉴图像编辑中“以演示传达意图”的交互方式。不过，文章未说明该方法在长视频或高分辨率视频上的表现，实际部署前需验证其时空一致性。
Q&A
视频修复中如何利用音频信息提升修复效果？
通过提出的两个新损失函数：音频-视觉关注损失和音频-视觉伪类一致性损失，向视频修复网络传递音频-视觉对应关系的先验知识，从而提高视频修复性能。实验证明，该方法可以更好地恢复更广泛的视频场景，并且在场景中的声音对象局部遮挡时特别有效。
IMProv模型是什么？它有什么特点？
IMProv是一种生成模型，能够从多模态提示中进行上下文学习，以解决计算机视觉任务，并通过文本条件和数据集缩放来提高任务性能。
有哪些基于深度学习的视频修复方法不需要先验训练？
一种新颖的视频修复算法通过Deep Image Prior（DIP）导出的卷积网络，同时生成缺失的外观和光流信息，并采用无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。
ImageBrush是如何实现图像编辑的？
ImageBrush通过学习视觉指示来实现更准确的图像编辑，关键思想是利用一对转换图像作为视觉指示来准确捕捉人类意图。它将视觉指示的学习形式化为基于扩散填充的图像修复问题，可以从仅包含视觉演示的新图像中完全提取出底层意图，并在姿势转移、图像翻译和视频修复等任务中展现出强大泛化能力。
视频修复中如何处理动态纹理和多个移动对象？
一种基于全局、基于补丁的功能的自动视频修复算法可以处理动态纹理、多个移动对象和移动背景等挑战情况，并在执行时间方面比现有技术快一个数量级。该算法不需要分割或手动输入，只需要定义修复遮罩即可，并且能够处理比以前的工作更广泛的情况。
基于深度学习的图像修复方法如何通过纹理传播实现高质量修复？
一种基于深度神经网络和纹理传播的学习方法将图像修复任务分离为推理和翻译两个步骤，并用简单的启发式算法指导局部纹理从边界到空洞的传播。该方法在几个公共数据集上能够产生比以前最先进方法更高质量的视觉结果。
