Scenimefy: 学习通过半监督的图像到图像翻译技术创作动画场景

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

该研究提出了一种利用半监督方法进行图片合成的新方法,通过操作图像的着色和反照率层,训练半监督网络提高合成图像的视觉逼真度。该方法通过两个阶段的管道实现,首先以物理学渲染为目标预测准确的着色,然后采用改进的CycleGAN网络进一步提高纹理和着色的逼真度。实验结果表明,该方法可以产生更逼真的图像,并且训练出的网络比领域适应方法预测出更精确的深度和法线。

🎯

关键要点

  • 提出一种利用半监督方法进行图片合成的新方法。
  • 通过操作图像的着色和反照率层,训练半监督网络以提高视觉逼真度。
  • 该方法分为两个阶段:首先以物理学渲染为目标预测准确的着色,其次使用改进的CycleGAN网络提高纹理和着色的逼真度。
  • 在SUNCG室内场景数据集上进行的评估表明,该方法能产生更逼真的图像。
  • 训练出的网络比领域适应方法预测出更精确的深度和法线,表明提高视觉逼真度的效果优于强加任务特定的损失。
➡️

继续阅读