DICE：从单一图像捕捉手脸互动的端到端变形
内容提要
本文提出了一种新方法，通过单目 RGB 视频追踪人手与人脸的 3D 交互，利用图卷积网络和变压器实现手部重建，显著提高了重建精度和泛化能力。同时，研究还涉及实时全身捕捉和高保真手部网格模型的构建，推动了人机交互和行为理解的发展。
延伸解读
技术融合：图卷积与变压器在双手重建中的协同
文章提出的分解迭代框架，利用图卷积网络和变压器在3D联合特征空间中进行手部内部和交互信息交互。这种设计能有效建模双手间的空间关系，通过交替增强实现精确重建。在InterHand2.6M数据集上，该方法相比现有双手重建方法有显著提升，并展现出对野外图像的泛化能力。
从单图到视频：手脸交互追踪的演进与挑战
文章涵盖了从单张RGB图像重建3D手部网格到单目视频追踪手脸3D交互的多项研究。早期工作如DeepHandMesh通过弱监督避免依赖真实网格，而后续方法则致力于实时全身捕捉和手脸交互。这些进展推动了人机交互和行为理解，但如何平衡精度与实时性仍是挑战。
数据集与评估：推动3D交互理解的关键
文章提及多个数据集和基准，如InterHand2.6M、DAMON和Ev2Hands，这些资源为训练和评估3D手部及全身交互方法提供了基础。在InterHand2.6M上的优异表现和DECO在多样真实互动中的适用性，表明大规模数据对提升模型泛化能力至关重要。
Q&A
DICE方法如何追踪人手与人脸的3D交互？
DICE方法通过单目RGB视频追踪人手与人脸的3D交互，利用图卷积网络和变压器实现手部重建。
DICE方法在手部重建方面有什么优势？
DICE方法显著提高了手部重建的精度和泛化能力，尤其在InterHand2.6M数据集上表现优异。
DECA模型的主要功能是什么？
DECA模型能够从单张图片中预测3D面部的个性细节和表情，提升面部动画的真实感。
HiFECap方法与其他表现捕捉方法相比有什么不同？
HiFECap方法首次能够同时捕捉人体的全部细节，包括姿态、服装、面部表情和手部姿势，表现优于现有方法。
DICE方法如何提高捕捉精度和速度？
DICE方法可以在多个数据集上进行联合训练，从而提升捕捉精度和速度。
DAMON数据集的作用是什么？
DAMON数据集用于训练3D接触检测器DECO，显著优于现有方法，推动人机交互研究。
