通过手法控制世界
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了当前生成模型在行动条件下无法进行物体操作的问题,通过学习人手与物体交互的无标签视频,提出了一种新的作用条件生成模型CosHand。研究表明,该模型能够准确预测手与物体交互的效果,并且对未知物体和环境具有很强的泛化能力,具备广泛的应用潜力,尤其在机器人领域中表现出色。
InterHandGen是一个学习两只手相互作用生成先验的新框架,可以产生合理且多样化的双手形状。该框架通过对事实单独实例分布的无条件建模和条件建模来建模联合分布。该框架的扩散模型通过条件丢弃来学习单手分布的无条件和有条件性。该框架的方法明显优于基准生成模型,可提高从野外单目图像中重建两只手的性能,达到新的最高准确度。