视频人脸修复方案 :无需预对齐的解析引导时序一致性模型 PGTFormer

视频人脸修复方案 :无需预对齐的解析引导时序一致性模型 PGTFormer

💡 原文中文,约2900字,阅读约需7分钟。
📝

内容提要

该论文提出了一种名为PGTFormer的盲视频人脸修复模型,通过语义解析的引导选择最佳的面部先验,生成时序一致且无伪影的结果。该模型无需面部预对齐,能提高视频的时序一致性。在多个定量指标和主观视觉对比实验中,该方法表现优异。

🎯

关键要点

  • 提出了一种名为PGTFormer的盲视频人脸修复模型,无需面部预对齐。
  • PGTFormer通过语义解析引导选择最佳面部先验,生成时序一致且无伪影的结果。
  • 模型包括两个关键阶段:TS-VQGAN训练和PGTFormer训练。
  • TS-VQGAN用于捕捉高质量视频人脸的时空特征,提供丰富的先验知识。
  • PGTFormer通过人脸解析模块和时空Transformer模块完成视频人脸修复。
  • PGTFormer设计旨在解决时序一致性不足和复杂对齐操作的问题。
  • 通过去除对齐操作,PGTFormer实现了更高效的修复流程。
  • PGTFormer在多个定量指标上表现优异,超越现有修复方法。
  • 主观视觉对比实验显示PGTFormer在细节保留和自然度上表现突出。
  • PGTFormer为视频人脸修复领域带来了显著进展,未来将继续优化和扩展应用。
➡️

继续阅读