代理到模拟:从随意的长期视频中学习互动行为模型
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了使用传统标记跟踪和多视角摄像头进行三维行为建模的局限性,提出了ATS框架,通过长期视频观测自然行为。该方法通过粗到细的注册技术建立了完整的时空四维表示,并训练生成模型,实现真实行为向交互模拟器的转移,显示出对宠物和人类行为建模的潜在影响。
通过Virtual Pet管道,我们展示了在3D环境中为动物建模真实动作的方法。利用单眼视频提取前景和背景,克服了3D动作数据的限制。评估结果表明,该方法能够在未见过的猫和环境中生成多样的4D输出。