通过位置查询和基于扩散的方法进行一步多图像外推
内容提要
该文综述图像与视频外延及修复研究，涵盖生成对抗网络、扩散模型、Transformer等方法，旨在实现高质量、实时、多样化的拓展，并保持时间连续性与视觉自然性。
延伸解读
技术演进：从GAN到扩散模型
文章梳理了图像外推技术的发展脉络。早期方法基于生成对抗网络（GAN），如2018年的DCGAN架构和2021年的条件渲染，侧重多样性和视觉质量。2019年出现编解码器结构，实现实时高效预测。2022年后，扩散模型成为主流，如RePaint和基于掩码的三维扩散模型，在视频外推中提升时间连续性。这一演进反映了从单一图像到视频、从生成质量到时空一致性的研究趋势。
视频外推的关键挑战与解决方案
视频外推需保持时间连续性并减少抖动。2023年的研究引入基于掩码的三维扩散模型，通过掩码建模训练，利用多个引导帧连接视频剪辑推理结果，确保连续性。同时，采用交叉注意力以全局帧为提示，引导模型获取剪辑外信息。混合由粗到细的推理流程缓解伪影积累，在生成稀疏帧时结合填充与插值。这些策略共同解决了视频外推中的时空一致性问题。
高分辨率图像修复的实用策略
针对超过4K分辨率的图像修复，2022年的研究结合深度学习和传统方法，使用LaMa和PatchMatch，并引入8x8反对称成对偏好矩阵的列求和策略选择最佳修复结果。实验表明该方法优于8种基线模型和4种SOTA模型。这提示读者，在高分辨率场景下，混合方法和结果选择策略能有效提升修复质量，而单纯依赖端到端模型可能不足。
Q&A
图像外推（image extrapolation）是什么？
图像外推是指对图像进行画外部分（extrapolation）的生成，即扩展图像边界之外的区域。文章中提到，通过深度学习方法，利用基于DCGAN架构的图像分割技术及本地鉴别器提升图像边界的质量，从而实现图片的画外部分，结果表明利用深度学习方法进行画外部分的研究既可行又具有前景。
视频外推中如何保持时间连续性？
在视频外延研究中，引入了一种基于遮罩的三维扩散模型，通过使用遮罩建模技术训练模型，利用多个引导帧连接多个视频剪辑推理结果，确保了时间连续性，并减少相邻帧之间的抖动。此外，通过交叉注意力，以全局帧为提示，引导模型获取当前视频剪辑之外的信息。
有哪些基于扩散模型的图像修复方法？
文章提到了RePaint，一种基于DDPM的修复方法，针对自由形式的抠图效果更佳，能够进行信息补充，并对面部和通用图像修复进行了测试。此外，还提到了基于遮罩的三维扩散模型用于视频外延。
图像外推中如何实现高质量和实时性？
该研究设计了具有创新模块的编解码器结构，包括跳过水平连接和循环内容传递，实现了高质量、实时和高效的图像外描绘预测，同时能够根据给定的输入生成风格和语义内容相同的非常长的图像。在收集的新景观数据集上进行的实验结果表明该提出的架构具有很高的效能。
场景图转换器在图像修复中有什么应用？
本文提出一种基于场景图转换器的理解和完成图像语义的方法，使用图上的节点和边缘特征进行建模，并采用节点和边缘级别的特征注意力机制，通过MS-COCO和Visual Genome数据集的实验证明这一模型的有效性及场景图扩展和完感布局转换的实际应用。
如何对超过4K分辨率的图像进行修复？
通过结合深度学习和传统方法，使用LaMa和PatchMatch对超过4K分辨率的图像进行修复，并通过一种新颖的策略即8x8反对称成对偏好矩阵的列求和来选择一个好的修复结果。实验结果优于8种基线模型和4种SOTA模型。
