基于最优传输多边形匹配的多模式基础模型的开放词汇操纵指令的目标分割
原文中文，约1700字，阅读约需5分钟。
📝
内容提要
本研究提出了一种多模式扩散分割模型（MDSM），能够理解自然语言指令并生成目标物体的分割掩模，性能优于基线方法。同时，介绍了开放词汇的3D实例分割任务，利用零样本学习和OpenMask3D方法提升分割效果。此外，研究了基于语言指令的视觉语言学习框架，优化了3D分割特征提取，展示了在无监督条件下的有效性。
❓
Q&A
多模式扩散分割模型 (MDSM) 的主要功能是什么？
MDSM 能够理解自然语言指令并生成目标物体的分割掩模，性能优于基线方法 10.13 个平均 IoU 点。
开放词汇的 3D 实例分割任务是如何提升分割效果的？
通过零样本学习和 OpenMask3D 方法，利用预测的类别不可知的 3D 实例掩码来聚合特征，从而提升分割效果。
OpenVIS 任务的目标是什么？
OpenVIS 旨在根据文本描述同时分割、检测和跟踪视频中的任意对象。
如何通过跨模态伪标签框架改善实例分割？
该框架通过与对象掩膜的视觉特征对齐，实现对新类别的标记，从而自我训练出学生模型，减少噪声干扰。
Point2Mask 方法的创新之处是什么？
Point2Mask 通过单个随机点注释实现高质量的全景预测，将伪掩码生成视为最优传输问题。
OVCamo 数据集的目的是什么？
OVCamo 数据集用于开放词汇伪装的物体分割任务，包含 11,483 个精选图像，旨在扩展开放词汇密集预测任务的研究。
🏷️
