Apple Machine Learning Research
·
基于多视角捕获的大规模高质量3D高斯头部重建
💡
原文英文，约400词，阅读约需2分钟。
📝
内容提要
我们提出了一种名为HeadsUp的方法，用于从大规模多摄像头捕获中重建高质量的3D高斯头部。该方法采用高效的编码-解码架构，将输入视图压缩为紧凑的潜在表示，并解码为与中性头模板锚定的UV参数化3D高斯。我们在超过10,000个受试者的内部数据集上训练和评估模型，取得了最先进的重建质量，并能在没有测试时优化的情况下推广到新身份。
🎯
关键要点
- 我们提出了一种名为HeadsUp的方法，用于从大规模多摄像头捕获中重建高质量的3D高斯头部。
- 该方法采用高效的编码-解码架构，将输入视图压缩为紧凑的潜在表示。
- 潜在表示被解码为与中性头模板锚定的UV参数化3D高斯。
- 该UV表示将3D高斯的数量与输入图像的数量和分辨率解耦，使得可以使用许多高分辨率输入视图进行训练。
- 我们在超过10,000个受试者的内部数据集上训练和评估模型，取得了最先进的重建质量。
- 该方法能够在没有测试时优化的情况下推广到新身份。
- 我们分析了模型在身份、视图和模型容量上的扩展行为，揭示了质量与计算之间的权衡。
- 我们展示了潜在空间的强大，通过生成新3D身份和使用表情混合形状动画化3D头部的两个下游应用。
❓
延伸问答
HeadsUp方法的主要功能是什么？
HeadsUp方法用于从大规模多摄像头捕获中重建高质量的3D高斯头部。
该方法是如何处理输入视图的？
该方法采用高效的编码-解码架构，将输入视图压缩为紧凑的潜在表示。
HeadsUp方法在训练中使用了多少受试者的数据？
该方法在超过10,000个受试者的内部数据集上进行训练和评估。
该方法如何实现对新身份的推广？
该方法能够在没有测试时优化的情况下推广到新身份。
潜在空间的强大表现在哪些应用中？
潜在空间的强大体现在生成新3D身份和使用表情混合形状动画化3D头部的两个下游应用中。
该方法在质量与计算之间有什么权衡？
我们分析了模型在身份、视图和模型容量上的扩展行为，揭示了质量与计算之间的权衡。
➡️
