浙大李玺团队：指代表达理解新方法，ScanFormer粗到细迭代消除视觉冗余
内容提要
该文章介绍了一种基于迭代扫描的指代表达理解模型ScanFormer，通过图像金字塔逐层扫描图像，过滤无关区域，实现任务相关区域的关注。实验结果显示，该模型在多个数据集上取得了接近最先进的性能，并具有实时推理速度。文章还对模型的patch选择和定位精度进行了统计和可视化分析。
延伸解读
视觉编码器的效率瓶颈与ScanFormer的应对
当前指代表达理解研究多聚焦于跨模态交互模块，视觉编码器常直接采用ResNet、ViT等预训练模型，这些模型以滑动窗口或划分patch的方式遍历全图，计算复杂度随分辨率快速增长。然而图像中存在大量与指代无关的背景区域，均匀提取特征造成计算浪费。ScanFormer通过图像金字塔逐层扫描，从粗尺度开始过滤无关区域，仅对前景区域精细提取特征，从而降低计算量，为视觉编码器的效率优化提供了新思路。
动态patch选择：从替换到加速的实现细节
ScanFormer将patch选择转化为替换问题：未被选中的patch被替换为可学习的常量token，而非直接置零。由于这些token相同，根据注意力计算特性可合并为一个token并乘上总数，从而保持点积注意力计算方式不变，仍可利用常见加速方法。选择因子由前一尺度生成，直接作用于patch embedding，相比作用于每层多头注意力更易学习。这种设计在简化训练的同时，实现了实际的推理加速。
性能与实时推理的平衡
在RefCOCO、RefCOCO+、RefCOCOg和ReferItGame四个数据集上，ScanFormer取得了与最先进方法相近的性能，并达到实时推理速度。通过大规模预训练后微调，性能可进一步提升至与MDETR、OFA等预训练模型相近的水平。这表明迭代扫描框架在保持精度的同时，能有效减少计算冗余，为实时指代表达理解应用提供了可能。
定位精度提升与早退机制的探索
实验统计显示，随着尺度增加，细粒度特征被引入，模型定位精度逐步提升。这启发了早退机制的设想：当定位精度满足要求时提前退出，避免高分辨率计算，实现自适应分辨率选择。然而，初步尝试加入IoU、GIoU和不确定性预测分支回归早退指标，效果并不理想。如何设计准确可靠的早退指标仍是待探索的问题，这也指出了未来优化的方向。
Q&A
ScanFormer模型的主要创新点是什么？
ScanFormer模型采用了coarse-to-fine的迭代感知框架，通过图像金字塔逐层扫描，过滤无关区域，从而降低计算浪费并关注任务相关区域。
ScanFormer在性能上与其他模型相比如何？
ScanFormer在RefCOCO、RefCOCO+、RefCOCOg和ReferItGame等多个数据集上取得了接近最先进的性能，并且具有实时推理速度。
ScanFormer是如何处理图像中的冗余信息的？
ScanFormer通过图像金字塔的方式，首先在粗尺度图像中识别背景区域，然后逐步引入细粒度前景区域，从而有效过滤冗余信息。
ScanFormer的动态patch选择是如何实现的？
动态patch选择通过前一尺度生成的选择因子来决定，优化了计算效率，使得未被选择的patch可以被替换为常量token，从而简化计算。
ScanFormer模型的定位精度如何随尺度变化？
随着尺度的增加，ScanFormer的定位精度逐步提升，细粒度特征的引入使得位置预测更加准确。
ScanFormer在实验中有哪些可视化结果？
实验中可视化结果显示，模型对背景区域关注粗尺度信息，对前景区域则关注细粒度细节，随着尺度的增加，定位精度逐步提高。
