Apple Machine Learning Research
·
基于像素空间扩散模型的新视角合成
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
从单一输入图像合成新视角是一项挑战。我们采用现代扩散模型架构进行端到端的新视角合成，显著超越了以往技术。实验表明，几何信息编码方法对性能提升有限，而改进的生成模型效果更佳。此外，我们引入了一种新训练方案，利用单视图数据集，增强了对域外内容场景的泛化能力。
🎯
关键要点
- 从单一输入图像合成新视角是一项挑战。
- 传统方法通过估计场景深度、变形和修补来处理此任务，机器学习模型在其中发挥了作用。
- 现代生成模型越来越多地被应用于新视角合成，通常涵盖整个端到端系统。
- 本研究采用现代扩散模型架构进行端到端的新视角合成，显著超越了以往的技术。
- 实验表明，几何信息编码方法对性能提升有限，而改进的生成模型效果更佳。
- 引入了一种新训练方案，利用单视图数据集，增强了对域外内容场景的泛化能力。
- 我们的系统能够隐式学习保留源视图中的特征，随着相机移动变换其位置，并在未见区域生成逼真的细节。
➡️
