跳跃与播放：面向任意对象的深度驱动姿态保持图像生成
内容提要
本文介绍了多种三维人体姿态估计和图像生成技术，包括基于双目视觉的KeyPose网络、改进的单目深度预测模型，以及利用扩散模型生成可控的三维头像。研究展示了在真实环境中生成高质量三维姿态和头像的能力，强调了模型在新视角和表情合成任务中的优势。
延伸解读
技术演进脉络
文章梳理了从2018年到2024年三维姿态估计与图像生成的技术发展。早期工作聚焦于利用合成图像训练卷积神经网络，解决野外环境下的三维人体姿态估计问题。随后，KeyPose网络通过双目视觉输入提升了透明物体的3D姿态估计表现。2020年，针对单目深度预测模型的泛化性能下降问题，提出了数据增强和条件模型两种解决方案。这些进展为后续扩散模型在三维生成中的应用奠定了基础。
扩散模型带来的突破
2023年后，扩散模型成为三维头像生成的核心技术。Text2Control3D利用ControlNet生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，解决了视角不可知纹理问题。LooseControl则实现了基于扩散的图像生成的广义深度条件控制，允许用户通过场景边界控制和3D盒子编辑来创建复杂环境。这些方法显著提升了生成结果的可控性和真实感。
多视角一致性与动画能力
将3D可变模型整合到多视角一致性扩散方法中，是提升生成头像质量的关键。该框架首次允许从未见过的单一图像创建完全3D一致、可动画且照片般逼真的人类头像，并实现了面部表情和身体姿势控制的 seamless 融入。定量和定性评估表明，该方法在新视角和新表情合成任务上优于现有最先进的头像创建模型。
多对象控制与视频生成
针对多对象三维姿势控制问题，神经资产方法通过将目标帧的对象姿势作为条件编码到参考图像的对象视觉表示中，实现了外观与姿势特征的分离。结合预训练的文本到图像扩散模型，该方法在合成三维场景数据集和两个真实世界视频数据集上取得了最新的多对象编辑结果。此外，CamCo通过Plücker坐标提供精确的相机姿态输入，增强了视频生成的3D一致性和相机控制能力。
Q&A
什么是KeyPose网络，它的主要功能是什么？
KeyPose网络是一种基于双目视觉输入的深度神经网络，主要用于从RGB相机标记的三维关键点预测物体姿势，尤其在透明物体情况下表现优于现有方法。
如何提高单目深度预测模型的泛化性能？
通过数据增强和条件模型的方法，可以显著提高单目深度预测模型在不同拍摄位置图像中的预测效果和泛化性能。
扩散模型在三维头像生成中的应用是什么？
扩散模型通过3D geometry control和visual prompts生成可控的三维头像，能够实现视角感知图像和面部表情的控制。
LooseControl技术的主要功能是什么？
LooseControl技术实现基于扩散的图像生成的广义深度条件控制，允许用户创建复杂环境并精细调整生成结果。
如何解决图像扩散模型中的多对象三维姿势控制问题？
通过将目标帧的对象姿势作为条件编码到参考图像的对象视觉表示中，实现外观与姿势特征的分离，从而控制多对象的三维姿势。
该研究如何增强视频生成的3D一致性？
通过引入CamCo，提供精确参数化的相机姿态输入，增强视频生成的3D一致性和相机控制能力。
