量子位
·
谢赛宁盛赞字节Seed新研究！单Transformer搞定任意视图3D重建
💡
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
字节Seed的康炳易团队推出Depth Anything 3（DA3），该模型利用单一Transformer实现任意视图的3D重建，提升了相机定位和几何重建的准确性。通过简化架构和核心预测，DA3能够从单图、多图或视频中提取深度和光线信息，展现出强大的性能和广泛的应用潜力。
🎯
关键要点
- 字节Seed的康炳易团队推出Depth Anything 3（DA3），利用单一Transformer实现任意视图的3D重建。
- DA3在相机定位精度上平均提升35.7%，几何重建准确率提高23.6%。
- DA3的架构设计简单，核心预测仅关注深度和光线信息。
- 模型通过单视角自注意力和跨视角自注意力机制，自动关联不同输入形式的信息。
- 采用师生蒸馏策略，利用高质量伪标签降低对高精度标注数据的依赖。
- 字节团队搭建了新的视觉几何基准，整合多个数据集全面评测模型性能。
- DA3能够生成高质量的3D点云，并在虚拟漫游和数字孪生等场景中展现潜力。
- 康炳易是Depth Anything 3项目的带队人，专注于计算机视觉和多模态模型的研究。
🏷️
标签
➡️
