使用扩散模型从物体姿态间获得极端的两视图几何
内容提要
扩散模型正被广泛用于姿态估计与新视角合成。DiffPose将3D姿态估计建模为逆扩散过程，在Human3.6M等基准上显著提升；ID-Pose无需训练即可从两图估计相对姿态；姿态引导扩散模型可生成一致的新视角视频。此外，视角不变模型、iFusion、场景扩散方法及几何约束训练等也被提出，在一致性、真实感和下游任务上均优于现有方法。
延伸解读
扩散模型在姿态估计中的多样化应用
文章展示了扩散模型在姿态估计中的多种应用方式：DiffPose将3D姿态估计建模为逆扩散过程，ID-Pose无需训练即可从两图估计相对姿态，姿态引导扩散模型生成一致的新视角视频。这些方法分别针对不同任务，体现了扩散模型在姿态估计领域的灵活性和广泛适用性。
几何约束提升生成质量与下游性能
文章提到，通过引入几何约束训练生成模型，可以强制透视准确性，使输出更逼真。实验表明，使用该约束训练的潜在扩散模型在70%的情况下优于Stable Diffusion V2，并且微调后的单眼深度估计模型在KITTI测试集上的零样本转移性能显著提升，RMSE和SqRel分别最多超过原始模型7.03%和19.3%。
无需微调与多视角一致性进展
基于条件生成建模的目标姿态估计方法在REAL275数据集上达到最先进性能，且无需微调即可适应具有相似对称性质的新类别。同时，通过将2D扩散模型中的几何先验与3D形状对齐，多视角不一致问题得到改善，一致性率超过85%，远高于先前方法。这些进展表明扩散模型在泛化性和一致性方面具有潜力。
Q&A
DiffPose 是如何将扩散模型应用于 3D 姿态估计的？
DiffPose 将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程。
ID-Pose 需要训练吗？它有什么特点？
ID-Pose 不需要训练，它利用预训练的扩散模型，通过给定两张输入图像来估计相对姿态，可处理多张图像，并且在实际图像中具有广泛应用性。
如何从单张图像生成一致的新视角视频？
可以使用姿态引导扩散模型，该模型设计了一个利用极线作为约束的注意力层以促进不同视角之间的关联，从而生成一致的、持久的新视角视频。
iFusion 框架需要多少视图？它是如何工作的？
iFusion 只需要两个未知相机姿态的视图。它通过使用预训练的新视图合成扩散模型进行相机姿态估计和新视图合成，从而在 3D 物体重建中表现出良好的性能。
在扩散模型训练中引入几何约束有什么好处？
引入几何约束可以强制透视准确性，使生成模型的输出更加逼真，同时提高在生成图像上训练的下游模型的性能。例如，在 KITTI 测试集上，微调后的单眼深度估计模型在 RMSE 上超过真实图像训练的原始模型最多 7.03%，SqRel 上超过 19.3%。
基于条件生成建模的目标姿态估计方法在哪个数据集上实现了最先进性能？
该方法在 REAL275 数据集上实现了最先进的性能，且不需要微调即可适应具有相似对称性质的新类别。
