从视频扩散先验中学习时间一致的视频深度
原文中文,约2500字,阅读约需6分钟。发表于: 。该研究旨在通过利用现有视频生成模型中的先验知识,将视频深度估计问题转化为条件生成问题,以降低学习难度并增强泛化能力。通过实证验证,作者提出了一种先优化空间层再优化时间层的训练策略,并通过滑动窗口策略在任意长的视频上进行推断,从而获得更具时间一致性的深度估计结果。实验结果表明,作者提出的 ChronoDepth...
该研究旨在通过利用现有视频生成模型中的先验知识,将视频深度估计问题转化为条件生成问题,以降低学习难度并增强泛化能力。作者提出了一种先优化空间层再优化时间层的训练策略,并通过滑动窗口策略在任意长的视频上进行推断,获得时间一致性的深度估计结果。实验结果表明,ChronoDepth方法在估计深度的时间一致性方面优于现有方法,并在深度条件视频生成和新视角合成等实际应用中展示了更一致的视频深度的益处。