通过扩散合成进行的 3D 人体姿势分析

💡 原文中文,约1800字,阅读约需5分钟。
📝

内容提要

该文综述扩散模型在人体姿态估计中的应用:DPoser以变分扩散采样统一网格恢复、姿态补全与动作降噪;DiffPose将3D姿态估计建模为逆扩散过程,在Human3.6M等基准上显著提升;PIDM生成人体图像;PoSynDA用扩散模拟目标域姿态分布实现无标注域适应;DiffusionPose将2D估计转为热图去噪;此外还涉及视频姿态估计、手部姿态估计及DreamPose时装视频动画等进展。

🔎

延伸解读

扩散模型如何重塑姿态估计范式

文章梳理的多项工作显示,扩散模型正从生成工具转变为姿态分析的核心建模手段。DiffPose将3D姿态估计直接定义为逆扩散过程,DiffusionPose则把2D关键点热图生成视为去噪任务。这种统一视角让不同任务(网格恢复、补全、降噪)可以共享变分扩散采样等求解框架,DPoser即为例证。读者可关注这种“生成式建模”思路如何替代传统判别式回归,以及它在处理遮挡、时间一致性等难点上的潜在优势。

无标注域适应的实用突破

PoSynDA针对3D姿态估计器迁移到新数据集时依赖目标域标注的痛点,利用扩散模型模拟目标域的3D姿态分布,并结合多假设网络生成多样姿态假设。文章称其在Human3.6M、MPI-INF-3DHP和3DPW上具有竞争力,甚至与目标训练的MixSTE相当。这表明扩散模型不仅能提升精度,还能降低实际部署中的数据标注成本。但需注意,该方法仍依赖源域数据与师生范式,其泛化边界值得进一步观察。

从静态图像到视频与手部的扩展

文章还覆盖了扩散模型在视频姿态估计、手部姿态估计和时装视频动画中的进展。基于视频的DiffPose将姿态估计作为条件热图生成问题,在PoseTrack系列基准上取得新最佳结果;手部姿态工作引入正向运动学层和Transformer模块以提升物理合理性与时序稳定性;DreamPose则展示了从静止图像生成动画时装视频的能力。这些扩展说明扩散框架正从单帧3D姿态向时序、细粒度部位和图像生成任务渗透,但各任务的评估基准和实际场景差异较大,读者不宜简单横向比较性能数字。

❓

Q&A

扩散模型在3D人体姿态估计中有哪些主要应用方向?

扩散模型在3D人体姿态估计中的应用包括:DPoser作为人体姿态先验,统一处理网格恢复、姿态补全和动作降噪;DiffPose将3D姿态估计建模为逆扩散过程;PIDM生成人体图像;PoSynDA通过扩散模拟目标域姿态分布实现无标注域适应;DiffusionPose将2D估计转为热图去噪;此外还涉及视频姿态估计、手部姿态估计和DreamPose时装视频动画。

DiffPose是如何利用扩散模型进行3D人体姿态估计的?

DiffPose将3D姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程。相比现有方法,在Human3.6M和MPI-INF-3DHP等基准测试中显著提升。

PoSynDA如何解决3D人体姿态估计的域适应问题?

PoSynDA通过多假设姿势合成领域适应框架,利用扩散中心结构模拟目标域中的3D姿势分布,填补数据多样性缺口。结合多假设网络创建多样的姿势假设并与目标域对齐,通过目标特定的源增强从源域获得目标域分布数据,并使用师生范式和低秩适应进一步完善。在Human3.6M、MPI-INF-3DHP和3DPW等基准测试中表现出竞争力,甚至与目标训练的MixSTE模型相当。

DiffusionPose在2D人体姿态估计中有什么创新?

DiffusionPose将2D人体姿态估计问题定义为噪声热图的关键点热图生成问题,通过添加噪声将关键点扩散到随机分布中,学习扩散模型从噪声热图中恢复与图像特征相关的地面真值热图,实现从初始化热图的渐进式降噪方式生成热图。此外,还探究了从人体结构信息中提取条件以提高性能。在COCO、CrowdPose和AI Challenge数据集上分别提高了1.6、1.2和1.2 mAP。

扩散模型如何用于视频人体姿态估计?

DiffPose是一种扩展扩散模型,将基于视频的人体姿态估计作为条件热图生成问题,通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性,在PoseTrack2017、PoseTrack2018和PoseTrack21三个基准测试上取得了新的最佳结果。

扩散模型在手部姿态估计中有什么应用?

一项研究提出了一个端到端框架,用于从单眼图像或序列中估计三维手部姿态。通过使用用于生成目的的扩散模型并引入显式的正向运动学层,确保生成的姿势符合实际。通过在连续帧的时间窗口上添加Transformer模块,在提升精确度的同时克服了抖动问题。该方法在多个数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

🏷️

标签

➡️

继续阅读