内容提要
星尘智能发布多机协同框架CoMind,采用去中心化方式让机器人主动交换任务关键信息而非传输完整画面:先提取压缩视觉特征,再双向共享并联合优化动作决策,使通信直接服务队友操作。真机测试中,隔板拿笔成功率从0%升至100%,盲盒置物准确率从38.9%提至88.9%,通信量减少约80%,覆盖纸箱组装、叠被、哑铃装配等任务。
延伸解读
去中心化协作的关键:信息精选而非全量共享
CoMind 的核心思路是让每台机器人独立决策,同时主动交换对任务有用的压缩视觉特征,而非传输完整画面。这解决了中心化调度在精细操作中易慢半拍、全量视频传输冗余大的问题。文章数据显示,盲盒置物任务中不共享信息准确率为38.9%,采用另一种上下文传输方案为72.2%,CoMind 提升至88.9%,同时通信量减少约80%。这说明协作效率不取决于信息量多少,而取决于信息与队友动作决策的关联度。
动作级反向传播:让通信直接服务于操作结果
CoMind 的一项关键设计是动作级反向传播:队友的动作误差可以反向传递至信息编码器,促使发送方调整关键特征提取方式。以盲盒置物为例,机器人A看不见目标,若伸错位置,训练中动作预测误差会帮助机器人B更倾向于提供有助于A完成正确动作的信息。这使机器人交流的目标从“准确描述环境”转向“服务队友操作”,也是隔板拿笔成功率从0%升至100%的重要机制支撑。
真机测试覆盖两类协作能力,但场景仍有限
文章展示的六项真机测试覆盖隔墙拿笔、盲盒置物、纸箱组装、叠被收纳、冰箱补货和哑铃组装,对应感知互补与动作协同两类能力。前者让机器人借助队友视角获取自身无法观察的信息,后者让机器人在持续操作中根据队友状态调整行为。不过,这些测试均为特定任务下的演示,文章未披露更大规模、更多机器人或开放环境中的表现,读者需注意其结论的适用范围。
与同期多机协作研究的路线差异
文章对比了三条技术路线:斯坦福CHORUS让不同机器人使用同一套VLA策略、不显式通信,通过观察队友行为形成配合;LatentToM学习共享潜在表征并交换紧凑表征;DuoMind用视觉语言模型做高层推理和语义通信。CoMind则更靠近动作层,将任务相关视觉信息提取、双向共享和动作策略联合优化,使通信内容与最终操作结果直接挂钩。这一差异有助于理解CoMind在信息效率上的取舍。
Q&A
星尘智能的CoMind框架主要解决多机器人协作中的什么问题?
CoMind主要解决多机器人协作中如何协调决策以及如何高效交换信息的问题。它采用去中心化的主动共享方式,让机器人主动交换任务关键信息而非传输完整画面,从而在减少通信量的同时提升协作成功率。
CoMind是如何实现机器人之间高效信息交换的?
CoMind通过两个阶段实现:第一阶段,上下文编码器从多路摄像头观测中筛选、压缩关键视觉特征,并预测未来视觉变化;第二阶段,机器人双向共享这些关键信息,接收方将其与自身观测、任务指令及本体状态结合,输入VLA模型生成动作。此外,动作级反向传播让队友的动作误差反向调整信息编码器,使共享信息直接服务于动作决策。
CoMind在真机测试中取得了哪些具体成果?
在真机测试中,隔板拿笔任务成功率从0%提升到100%;盲盒置物准确率从38.9%提升到88.9%;通信量减少约80%。测试还覆盖了纸箱组装、叠被收纳、冰箱补货和哑铃组装等任务。
CoMind与传统中心化调度和分布式决策方案有何不同?
传统中心化调度由统一系统分配任务,适合明确分工但精细操作时容易慢半拍且通信开销大;分布式决策让机器人独立感知控制,但信息有限,遮挡时可能失去决策依据。CoMind采用去中心化主动共享,机器人独立决策的同时主动交换任务关键信息,既减少对中心控制器的依赖,又通过信息精选与压缩降低通信负担。
CoMind的“动作级反向传播”设计有什么作用?
动作级反向传播让队友的动作结果反过来决定自己应该提供什么信息。训练时,如果接收方动作出错,误差会反向传递至信息提供方的编码器,帮助其调整关键特征提取方式,使共享的信息更有利于队友完成正确动作。这样,信息共享与最终动作之间建立了直接联系。
CoMind与CHORUS、LatentToM、DuoMind等多机器人协作研究有何区别?
CHORUS让不同机器人使用同一套VLA策略,通过观察队友行为形成配合,不要求显式通信;LatentToM让机器人学习共享潜在表征,通过通信交换紧凑表征;DuoMind通过视觉语言模型进行高层推理和语义通信,由VLA执行底层动作。CoMind则聚焦动作层,将任务相关视觉信息提取、双向共享和动作策略联合优化,使通信内容直接改善队友的动作决策。