浙大李玺团队：指代表达理解新方法，ScanFormer粗到细迭代消除视觉冗余
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
该文章介绍了一种基于迭代扫描的指代表达理解模型ScanFormer，通过图像金字塔逐层扫描图像，过滤无关区域，实现任务相关区域的关注。实验结果显示，该模型在多个数据集上取得了接近最先进的性能，并具有实时推理速度。文章还对模型的patch选择和定位精度进行了统计和可视化分析。
❓
Q&A
ScanFormer模型的主要创新点是什么？
ScanFormer模型采用了coarse-to-fine的迭代感知框架，通过图像金字塔逐层扫描，过滤无关区域，从而降低计算浪费并关注任务相关区域。
ScanFormer在性能上与其他模型相比如何？
ScanFormer在RefCOCO、RefCOCO+、RefCOCOg和ReferItGame等多个数据集上取得了接近最先进的性能，并且具有实时推理速度。
ScanFormer是如何处理图像中的冗余信息的？
ScanFormer通过图像金字塔的方式，首先在粗尺度图像中识别背景区域，然后逐步引入细粒度前景区域，从而有效过滤冗余信息。
ScanFormer的动态patch选择是如何实现的？
动态patch选择通过前一尺度生成的选择因子来决定，优化了计算效率，使得未被选择的patch可以被替换为常量token，从而简化计算。
ScanFormer模型的定位精度如何随尺度变化？
随着尺度的增加，ScanFormer的定位精度逐步提升，细粒度特征的引入使得位置预测更加准确。
ScanFormer在实验中有哪些可视化结果？
实验中可视化结果显示，模型对背景区域关注粗尺度信息，对前景区域则关注细粒度细节，随着尺度的增加，定位精度逐步提高。
🏷️
