GitHub 8k Star，一作实习生，字节这个大模型成果被苹果选中了
内容提要
字节跳动的Depth Anything V2模型已被苹果收入Core ML模型库，该模型是一种单目深度估计模型，可应用于视频特效、自动驾驶、3D建模、增强现实等领域。V2版本在细节处理和速度上有显著提升，通过Scaling Laws思路构建并通过训练和优化不断提升性能。该模型的论文已被选入CVPR 2024，其中一作是团队的实习生。
延伸解读
苹果收录背后的端侧AI布局
Depth Anything V2被苹果收入Core ML模型库，意味着该模型可在iOS和MacOS设备上离线运行，增强隐私并减少延迟。苹果一同收录的还有FastViT、ResNet50、YOLO v3等模型，覆盖自然语言处理到图像识别多个领域，显示出苹果在端侧AI能力上的持续扩充。对于开发者而言，这降低了在苹果生态中集成先进深度估计能力的门槛。
Scaling Laws在单一视觉任务上的实践
与追求一个模型解决多任务的思路不同，Depth Anything团队选择依托Scaling Laws构建单一任务的基础模型。团队认为，多任务大模型实际效果可能只达70-80分，但时间和算力成本消耗较大。而深度估计作为计算机视觉的基础任务，信号客观存在且评价无需人类参与，更易通过Scaling获得实际价值。这一选择为视觉领域的Scaling应用提供了参考案例。
合成数据与知识蒸馏的协同策略
Depth Anything V2通过合成数据训练教师模型，再以大规模伪标注真实图像为桥梁教授学生模型。团队发现，精确的合成数据能提升细节表现，但纯合成数据存在颜色过于干净、布局过于有序等缺陷，影响泛化。因此，他们利用未标记真实图像生成伪标注，结合知识蒸馏，在保持鲁棒性的同时提升细节丰富度。这一策略平衡了合成数据与真实数据的优劣。
实习生主导研究的团队支持模式
Depth Anything V1和V2的论文一作均为团队实习生，研究工作在实习期间完成。Mentor提出Scaling路线和项目设想，实习生进一步提出用大规模未标注数据Scaling-up的想法，并推进实验、论文撰写等大部分工作。团队鼓励实习生研究更难、更本质的问题，而非追求Paper数量，并提供自由研究氛围和计算资源协调。这种模式既尊重实习生想法，又通过关键节点把控确保产出。
Q&A
Depth Anything V2模型的主要应用领域有哪些？
Depth Anything V2模型可应用于视频特效、自动驾驶、3D建模、增强现实等领域。
Depth Anything V2与V1相比有哪些显著提升？
V2版本在细节处理和速度上有显著提升，鲁棒性更强。
Depth Anything V2的推理速度在iPhone 12 Pro Max上是多少？
Depth Anything V2在iPhone 12 Pro Max上的推理速度达到31.1毫秒。
Depth Anything模型的训练过程中遇到了哪些挑战？
训练模型以达到并超过已有成果水平，以及在细节方面有更好表现是主要挑战。
Scaling Laws在Depth Anything模型中的作用是什么？
Scaling Laws用于构建一个简单但功能强大的基础模型，在单一任务上实现更好效果。
Depth Anything V2的论文一作是谁？
Depth Anything V1与V2的论文一作是团队的实习生。
