感知，对话，然后适应：用于开放世界视频识别的基础模型的多模态知识传递
内容提要
本文汇总了多项多模态与开放世界研究，涵盖视频开放世界定位、医学影像少样本适应、机器人抓放、视频识别与分类、机器人知识动态更新、3D开放词汇检测、多模态知识表示与视觉问答、多模态对话及开放视觉知识提取等方向。
延伸解读
多模态知识传递的共性思路
文章汇总的多项研究虽应用场景各异，但都围绕如何将多模态知识有效传递到新任务或新领域。例如，视频开放世界定位通过添加Transformer解码器增强时间一致性；医学影像少样本适应综述了基于提示、适配器和外部知识的方法；机器人抓放则利用语言分割掩模传递语义和几何信息。这些工作共同表明，跨模态知识迁移是提升开放世界能力的关键路径。
开放世界能力的技术实现差异
不同研究实现开放世界能力的方式不同：视频定位依赖模型架构调整（如OWL-ViT加解码器）；视频识别通过跨模态桥梁（BIKE）或调整预训练模型；3D检测借助跨模态知识融合；机器人知识更新则采用动态扩展类别集而不重训练。这些差异反映了开放世界问题在不同模态和任务中的多样性，读者需注意方法对特定场景的依赖性。
从封闭到开放：知识动态更新的价值
文章提到机器人知识动态更新方法，可在不重新训练整个系统的情况下检测新类别，并通过手动标注或网络挖掘扩展知识。这与开放视觉知识提取（OpenVik）生成无格式限制的视觉知识相呼应，共同指向一个趋势：系统需具备持续学习新概念的能力。这种动态性对实际部署至关重要，但文章未涉及更新频率、准确性等具体指标。
多模态对话与知识表示的可解释性
MuKEA通过显式三元组关联视觉对象和事实答案，构建可解释的多模态知识，提升了知识需求型VQA的表现。多模态对话研究则结合开放域对话代理与视觉模型，并整合安全组件而不削弱性能。这两项工作表明，多模态系统不仅需处理感知与对话，还需兼顾知识的结构化表示与安全性，但文章未提供具体安全评估细节。
Q&A
如何将开放世界模型应用于视频以实现开放世界定位？
基于OWL-ViT模型，通过添加一个Transformer解码器，成功将开放世界模型应用于视频，实现了更好的时间一致性和更强的开放世界能力。
多模态模型在医学成像等领域的少样本适应有哪些方法？
研究者提出了基于提示、适配器和外部知识的三种技术方法，并综述对比了这些方法，推导出了泛化误差界限及相应解决方案。
BIKE框架如何提升视频识别性能？
BIKE通过使用视频和文本之间的跨模态桥梁，利用视频设置自动补充的文字辅助属性，并通过文本确定带有时间明显性的位置，以增强视频表示，从而有效提高各种识别情景下的视频识别性能。
机器人如何动态更新知识而不重新训练整个系统？
提出一种基于深度学习架构的机器人知识动态更新方法，可以在不重新训练整个系统的情况下检测和学习感知对象是否属于系统已知的类别集，并可通过手动标注或网络自动挖掘获得新的类别信息以扩展系统知识。
MuKEA方法如何用于视觉问答？
MuKEA是一种用于视觉问答的多模态知识表示方法，通过明确的三元组来关联视觉对象和事实答案，从而构建视觉相关和可解释的多模态知识，可以有效提高对知识的需求的数据集上的表现。
OpenVik在开放视觉知识提取中有什么应用价值？
OpenVik使用开放的关系区域检测器和视觉知识生成器，生成无特定格式和关系类型限制的视觉知识，并通过多种视觉推理应用验证了其准确性和独特性，展示了真实世界应用价值。
