基于 PatchMatch 和 Transformers 的动态纹理转换

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该文章介绍了一种简单有效的方法,使用PatchMatch和Transformers模型将动态纹理传递到静态图像。通过合成起始帧和预测补丁,最后合并成目标风格化视频的每一帧。实验证明了该方法的有效性和优越性。

🎯

关键要点

  • 文章介绍了一种使用PatchMatch和Transformers模型的方法。
  • 该方法可以将动态纹理从视频传递到静态图像。
  • 首先合成目标视频的起始帧,使用基于PatchMatch算法的距离映射引导纹理传递模块。
  • 合成图像被分解为与结构无关的补丁。
  • 利用配备有VQ-VAE的Transformers处理长离散序列来预测后续补丁。
  • 最后应用高斯加权平均合并策略将所有补丁组装成目标风格化视频的每一帧。
  • 实验证明该方法在动态纹理传递方面的有效性和优越性。
➡️

继续阅读