在频域中使用移动平均采样提升扩散模型

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

多视角祖先采样(MAS)是一种用于生成一致的多视角2D样本的方法,可以创建对应的3D物体。MAS利用2D数据训练的扩散模型,为3D数据稀缺的运动领域提供机会。MAS通过去噪不同角度下的多个2D运动序列,保证了每个扩散步骤中所有视角的一致性,并将生成结果合并为统一的3D序列。MAS在职业篮球动作、韵律体操和马障碍赛等视频中展示了效果。相比流行的基于优化的去噪方法,MAS提供了更自然的一体化,避免了常见问题。

🎯

关键要点

  • 多视角祖先采样(MAS)是一种生成一致多视角2D样本的方法,旨在创建对应的3D物体。
  • MAS利用基于2D数据训练的扩散模型,为3D数据稀缺的运动领域提供机会。
  • MAS通过去噪不同角度下的多个2D运动序列,确保每个扩散步骤中所有视角的一致性。
  • 生成结果被合并为统一的3D序列,并投影到原始视角作为下一迭代的输入。
  • MAS在职业篮球、韵律体操和马障碍赛等视频中展示了其效果。
  • MAS能够生成多样且逼真的3D序列,无需文本约束,克服了3D运动捕捉的困难。
  • 与流行的基于优化的去噪方法相比,MAS提供了更自然的一体化,避免了常见问题。
🏷️

标签

➡️

继续阅读