使用扩散模型从物体姿态间获得极端的两视图几何

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

通过引入新的几何约束条件,训练生成模型可以提高透视准确性和下游模型性能。实验结果显示,使用该约束条件训练的模型生成的图像在70%的情况下优于其他模型。在KITTI测试集上,微调后的模型在零-shot转移中的RMSE和SqRel上分别超过真实图像训练的原始模型最多7.03%和19.3%。

🎯

关键要点

  • 引入新的几何约束条件可以提高生成模型的透视准确性。
  • 使用该约束条件训练的生成模型输出更加逼真。
  • 该模型在生成图像上进行训练的下游模型性能得到提升。
  • 主观实验表明,使用约束条件训练的模型在70%的情况下优于Stable Diffusion V2。
  • 微调后的SOTA单眼深度估计模型在KITTI测试集上表现优异,RMSE超过真实图像训练的原始模型最多7.03%。
  • 在SqRel上,微调后的模型超过真实图像训练的原始模型最多19.3%。
➡️

继续阅读