高德发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon,以12帧重建万帧3D场景

高德发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon,以12帧重建万帧3D场景

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

高德发布首个无长程依赖的万帧级流式3D重建模型ABot-Recon,仅凭连续12帧画面即可实时重建上万帧3D场景。该模型通过局部位姿预测与残差优化,在精度、速度和显存上均优于现有方法,误差降低40.6%,显存仅6.71GB,支持单目RGB输入,适用于自动驾驶、具身智能等领域。

🔎

延伸解读

技术路径的转变:从长程记忆到局部预测

传统流式3D重建依赖长程记忆锚点来维持全局一致性,但序列越长,速度越慢、精度越差、显存越高。ABot-Recon摒弃这一思路,仅用最近12帧作为局部上下文,通过局部位姿预测和残差优化,使计算复杂度恒定,内存和单帧计算量不随视频长度增长。这一设计选择直接解决了长序列重建的瓶颈,为实时应用提供了可能。

性能提升的实际意义

ABot-Recon在精度、速度和显存上均有显著提升:平均轨迹误差较LingBot-Map降低40.6%,推理速度达24.45FPS,峰值显存仅6.71GB,约为同类模型的三分之一。这意味着消费级显卡(如GTX 1080Ti)即可运行,大幅降低了硬件门槛,使流式3D重建技术更易落地于自动驾驶、具身智能等实际场景。

应用场景与开源价值

ABot-Recon仅需单目RGB输入,无需深度传感器或已知相机参数,即可实现万帧级实时重建,适用于测绘行业的私域建图、底图更新,以及具身智能、自动驾驶和3D内容生产等领域。目前已在GitHub开源推理及评测代码和权重,并在魔搭社区上线体验专区,开发者可直接体验,有助于推动技术普及和二次开发。

Q&A

高德发布的ABot-Recon模型是什么?

ABot-Recon是高德发布的首个无长程依赖的万帧级流式3D重建模型,仅凭连续12帧局部画面即可实时重建上万帧的3D场景,实现“边拍边建”。

ABot-Recon如何解决传统流式3D重建中的误差累积和显存问题?

ABot-Recon采用“局部位姿预测+残差优化”的技术路径,摒弃长程记忆锚点,只以最近12帧作为局部上下文窗口,预测局部点云和相对位姿,使计算复杂度恒定,并通过纠偏和误差约束机制实时校准轨迹误差,从而解决误差累积和显存膨胀问题。

ABot-Recon在精度、速度和显存上的具体表现如何?

在精度上,ABot-Recon在Oxford Spires基准测试中平均轨迹误差较LingBot-Map降低40.6%,相对旋转误差低至0.12°;速度上,在KITTI-02测试中实现24.45FPS实时重建,推理速度是行业代表方法的1.24倍;显存上,峰值占用仅约6.71GB,约为同类模型的三分之一。

ABot-Recon适用于哪些场景?

ABot-Recon适用于测绘行业的私域建图与底图更新,以及具身智能、自动驾驶和3D内容生产等场景。

ABot-Recon的输入要求是什么?

ABot-Recon仅需单目RGB视频输入,无需额外深度传感器或已知相机参数。

ABot-Recon是否开源?在哪里可以获取?

ABot-Recon已在GitHub开源了推理及评测代码和权重,并在魔搭社区上线了体验专区。

🏷️

标签

➡️

继续阅读