ClawMachine：提取视觉令牌作为实体进行指代和定位
内容提要
本文提出了一种新方法，通过大型多模态模型和无类别分割模型，实现视觉实体的密集连接和实体级分割。该方法利用颜色映射编码分割蒙版，提升细粒度预测的分辨率。同时，研究介绍了基于3D大型多模型的Grounded 3D-LLM模型，探索3D场景理解，结合视觉与语言模型，在多个基准测试中表现出领先性能。
延伸解读
方法核心：颜色映射编码分割蒙版
文章提出利用颜色映射对实体分割蒙版进行编码，使细粒度预测能保留高分辨率蒙版特征。同时，使用LMM中的CLIP视觉编码器从低分辨率图像提取视觉特征，相比额外编码器处理高分辨率图像的现有方法，计算上更高效。这一设计在精度与效率间取得平衡，为视觉实体密集连接提供了新思路。
Grounded 3D-LLM：统一生成框架下的3D理解
研究提出基于3D大型多模型的Grounded 3D-LLM，通过场景引用标记将3D视觉任务转化为语言格式，并引入对比性语言场景预训练（CLASP）利用大规模数据集。在多个3D基准测试中展示领先性能，表明统一生成框架能有效结合3D视觉与语言模型，为3D场景理解提供新范式。
零样本定位进展：LLM-Grounder与GEM
LLM-Grounder是一种零样本、开放词汇的3D视觉定位流水线，通过拆解自然语言查询并评估空间关系做出定位决策，无需标注数据。GEM模块借助自我-自我注意机制实现无需微调的零样本开放词汇目标定位，在OpenImagesV7基准上取得最先进结果。两者共同推动了无需训练数据的定位技术发展。
Q&A
ClawMachine方法的核心是什么？
ClawMachine方法通过大型多模态模型和无类别分割模型实现视觉实体的密集连接和实体级分割。
如何提高细粒度预测的分辨率？
该方法利用颜色映射编码分割蒙版来提升细粒度预测的分辨率。
Grounded 3D-LLM模型的主要应用是什么？
Grounded 3D-LLM模型用于探索3D场景理解，将3D视觉任务转化为语言格式。
LLM-Grounder的优势是什么？
LLM-Grounder是一种零样本、开放词汇量的3D视觉定位流水线，能够在没有标签的情况下进行目标定位。
如何实现无需微调的目标定位？
通过预训练的视觉-语言模型和GEM模块，LLM-Grounder实现了无需微调的目标定位。
该研究如何评估模型的性能？
研究通过在多个基准测试上进行全面评估，展示了模型的领先性能和广泛适用性。
