ScanFormer: 迭代扫描式指代表达理解
内容提要
本文探讨了自然语言与计算机视觉中的指代表达理解，提出了语言自适应动态子网（LADS）、无提案一阶段模型（PFOS）和实时全局推理网络等新模型，旨在提升推理速度和准确性。同时，研究还涉及3D对象定位方法ScanRefer及其数据集，并强调了Dual Modular Memorization (DMM)方法在连续任务中的性能改进。
延伸解读
技术演进：从多阶段到一阶段与实时模型
文章梳理了指代表达理解模型从多阶段到一阶段、从非实时到实时的演进。PFOS作为无提案一阶段模型，避免了时间成本和超参数困境；RCCF将任务重新表述为相关滤波过程，在40 FPS下实现领先性能；实时全局推理网络通过全局和自适应特征融合，在多个数据集上兼顾速度与准确度。这些进展表明，效率与精度可以协同提升。
语言自适应与动态子网：提升推理效率的新思路
LADS框架能从REC模型中提取依赖于表达式的语言自适应子网，通过紧凑子网使推理更经济高效。实验证明，该方法在RefCOCO、RefCOCO+、RefCOCOg和Referit上同时提高了推理速度和准确率。这提示我们，针对不同语言表达动态调整网络结构，可能是平衡计算成本与性能的有效途径。
从2D到3D与视频：指代表达理解的扩展
ScanRefer将指代表达理解扩展到3D场景，通过自然语言描述在RGB-D扫描中定位对象，并构建了包含800个ScanNet场景、11,046个对象和51,583个描述的大规模数据集。ConFormer和双重对应网络则针对视频指代表达理解，增强帧间和跨模态关联。这些工作表明，该领域正从静态图像向更复杂的3D和视频场景发展。
持续学习与遗忘挑战：DMM方法的改进
文章提出了Continual Referring Expression Comprehension (CREC)新设置，并引入Dual Modular Memorization (DMM)方法。DMM在连续任务中显著提升模型性能，避免遗忘之前学到的知识，减少重复重新训练的需求。作者在三个常用REC数据集上构建了CREC基准，实验证明DMM优于其他方法。这为解决实际应用中模型持续更新问题提供了思路。
Q&A
什么是语言自适应动态子网（LADS）？
语言自适应动态子网（LADS）是一种框架，通过提取依赖于表达式的子网来提高推理速度和准确率。
无提案一阶段模型（PFOS）如何优化图像区域回归？
PFOS通过交叉注意力变换器优化图像区域回归，避免了时间成本和超参数困境。
ScanRefer方法的主要应用是什么？
ScanRefer方法用于通过自然语言进行3D对象定位，并构建了相关的数据集。
实时全局推理网络的优势是什么？
实时全局推理网络通过全局和自适应特征融合机制提升了模型的速度和准确度。
Dual Modular Memorization (DMM)方法的作用是什么？
DMM方法在连续任务中显著提升模型性能，减少知识遗忘。
本文提到的3D对象定位数据集包含哪些内容？
该数据集包含来自800个ScanNet场景的11,046个对象的51,583个描述。
