BriefGPT - AI 论文速递
·
MultiPly: 野外单目视频中多人重建
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
通过MultiPly框架，从野外单目视频中重建多个人的3D模型。利用分层神经表示还原整个场景，包括个体人物和背景模型。混合实例分割方法结合了自我监督的3D分割和可提示的2D分割模块，得到可靠的实例分割辅助训练。通过优化公式交替优化人体姿势和形状/外貌，实现高度保真度的时间一致的3D重建结果。在公开数据集和野外视频上展现了优越性能。
🎯
关键要点
- 提出了一种名为MultiPly的新型框架，能够从野外单目视频中重建多个人的3D模型。
- 框架利用分层神经表示还原整个场景，包括个体人物和背景模型。
- 混合实例分割方法结合了自我监督的3D分割和可提示的2D分割模块，提供可靠的实例分割辅助训练。
- 引入基于置信度的优化公式，交替优化人体姿势和形状/外貌。
- 通过光度信息改善人体姿势，并施加物理可行性约束，实现高度保真度的时间一致的3D重建结果。
- 方法在公开数据集和野外视频上展现了超越先前研究成果的优越性能。
➡️
