内容提要
禾赛科技推出Kosmo三维扫描方案,其前融合采集终端集成激光雷达、相机与IMU,配合云端重建可快速采集真实场景并直接输出3D高斯泼溅数据,服务影视、游戏、测绘及具身智能训练,该方案已被皮克斯用于3D渲染教程。这标志禾赛从车载激光雷达供应商向物理AI数据基础设施供应商延伸。
延伸解读
从车载激光雷达到物理AI数据入口
禾赛推出Kosmo三维扫描方案,标志着其业务从车载激光雷达向物理AI数据基础设施延伸。Kosmo One集成激光雷达、相机与IMU,通过硬件级前融合实现微秒级同步采集,云端Kosmo World重建后直接输出3D高斯泼溅数据。这一转变依托禾赛在精密光电设备、车规标准和工程量产上的积累,使其角色从传感器供应商扩展为数据资产生产方。
前融合如何解决真实数据采集痛点
具身智能团队过去需自行采购不同传感器并手搓采集设备,面临非标、可靠性低、昂贵且难以迭代的问题。Kosmo One在硬件层面完成时间与空间对齐:四类传感器共享时钟源,外参出厂标定并由IMU辅助维持,输出时空对齐的多模态数据帧。云端再用激光雷达点云初始化高斯位置并提供几何约束,弥补原始3DGS在无纹理区域和真实尺度上的短板。
真实数据与世界模型并非替代关系
文章提出一个值得关注的判断:世界模型越强,对真实世界新鲜数据的需求反而越大。Kosmo采集的数据来自真实物理世界,物理定律和因果关系更精准,且便于对模型行为进行解释归因。Kosmo一次重建可同步输出3DGS、mesh和depth三种同源数据,并支持语义分割与盲区补全,使静态场景可直接转化为机器人可训练的结构化数据。
商业想象与待验证之处
文章提到Kosmo的主要营收可能不是硬件售卖,而是数据资产生产消耗的token,并称禾赛创始人团队还有机器人公司Sharpa形成需求反馈闭环。这些指向平台生态的野心,但文章未给出具体定价、客户规模或营收数据。Kosmo能否从影视、游戏、测绘等场景跑出足够宽和深的商业版图,仍需后续验证。
Q&A
禾赛科技的Kosmo是什么?它主要能做什么?
Kosmo是禾赛科技推出的三维扫描方案,由手持采集终端Kosmo One和云端重建端Kosmo World组成。它能快速采集真实场景,直接输出3D高斯泼溅(3DGS)数据,并同步导出mesh和depth,用于影视、游戏、测绘及具身智能训练等。
皮克斯为什么在3D渲染教程中感谢禾赛?
皮克斯在最新的3D渲染教程中教创作者使用RenderMan处理真实世界的3D高斯泼溅数据,而帮助RenderMan捕捉真实世界的正是禾赛的Kosmo扫描方案。Kosmo能让建模师快速捕捉空间元素、几何结构和真实光照,因此皮克斯特意致谢。
Kosmo One的“前融合”具体指什么?有什么好处?
前融合指在信号进入重建算法前,先在硬件层面将激光雷达、相机、IMU等多传感器数据对齐。时间上做到微秒级同步采集,共享时钟源;空间上出厂标定外参,由IMU辅助维持。好处是输出时空对齐的多模态数据帧,无需软件端特征匹配猜位置。
Kosmo如何把采集的数据变成3D高斯泼溅?
Kosmo One完成同步采集后,数据上传至云端Kosmo Spatial Core(KSC)。KSC用激光雷达点云初始化高斯位置,以深度作为几何约束参与优化,RGB信息通过可微光栅化的光度损失注入颜色参数,三路信号协同优化,最终输出位置、形状、颜色收敛的3DGS表示。
Kosmo对具身智能和物理AI有什么价值?
Kosmo能提供真实世界的多模态数据,包括材质、物体棱角、色彩和空间关系,并可通过AI语义分割转化为结构化训练数据。这些数据可直接用于机器人训练任务,且来自真实世界,物理定律和因果更精准,有助于模型行为解释归因,是物理AI的数据入口。
世界模型越来越强,为什么还需要Kosmo采集真实数据?
文章认为AI越强,对泛化要求越高,越需要真实世界的新鲜数据作为基础。世界模型目前无法回答某些问题,而Kosmo提供真实物理世界对齐的数据,能作为世界模型的kick start,并帮助明确模型能力来源和解释归因链条,因此Kosmo是“顺AI”而非被替代。
禾赛做Kosmo,对其自身业务意味着什么?
这意味着禾赛从车载激光雷达供应商向物理AI数据基础设施供应商延伸。Kosmo主要营收可能不是硬件售卖,而是卖数据资产消耗的token。禾赛还拥有机器人全栈公司Sharpa,形成小闭环推动行业大闭环,并计划构建数据资产平台生态。