在频域中使用移动平均采样提升扩散模型
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
多视角祖先采样(MAS)是一种用于生成一致的多视角2D样本的方法,可以创建对应的3D物体。MAS利用2D数据训练的扩散模型,为3D数据稀缺的运动领域提供机会。MAS通过去噪不同角度下的多个2D运动序列,保证了每个扩散步骤中所有视角的一致性,并将生成结果合并为统一的3D序列。MAS在职业篮球动作、韵律体操和马障碍赛等视频中展示了效果。相比流行的基于优化的去噪方法,MAS提供了更自然的一体化,避免了常见问题。
🎯
关键要点
- 多视角祖先采样(MAS)是一种生成一致多视角2D样本的方法,旨在创建对应的3D物体。
- MAS利用基于2D数据训练的扩散模型,为3D数据稀缺的运动领域提供机会。
- MAS通过去噪不同角度下的多个2D运动序列,确保每个扩散步骤中所有视角的一致性。
- 生成结果被合并为统一的3D序列,并投影到原始视角作为下一迭代的输入。
- MAS在职业篮球、韵律体操和马障碍赛等视频中展示了其效果。
- MAS能够生成多样且逼真的3D序列,无需文本约束,克服了3D运动捕捉的困难。
- 与流行的基于优化的去噪方法相比,MAS提供了更自然的一体化,避免了常见问题。
➡️