晓飞的算法工程笔记
·
ScanFormer：逐层抵达目标，基于特征金字塔的指代表达理解框架 | CVPR'24 - 晓飞的算法工程笔记
💡
原文中文，约7300字，阅读约需18分钟。
📝
内容提要
该论文提出了一种名为ScanFormer的迭代感知框架，用于指代表达理解。该框架通过逐层利用图像尺度金字塔，从上到下提取与语言相关的视觉图像块，并通过设计的信息预测方法丢弃不相关的图像块。论文还提出了一个用于加速推断的被丢弃图像块的选择策略。实验证明了该框架在准确性和效率之间取得了平衡。
🎯
关键要点
-
提出了一种名为ScanFormer的迭代感知框架，用于指代表达理解。
-
ScanFormer通过逐层利用图像尺度金字塔，从上到下提取与语言相关的视觉图像块。
-
设计的信息预测方法用于丢弃不相关的图像块，以提高模型效率。
-
提出了一种选择策略以加速推断，针对被丢弃的图像块进行选择。
-
实验证明ScanFormer在准确性和效率之间取得了平衡，适用于多个数据集。
-
ScanFormer的框架包括词嵌入、图像块嵌入、位置-尺度嵌入和编码器。
-
通过缓存机制存储输出特征，减少计算资源消耗。
-
引入常数标记替换机制以选择信息图像块，优化模型训练。
-
通过合并常数标记减少计算量，提高模型的适应性。
-
ScanFormer的总损失函数结合了边界框损失和稀疏性损失，优化模型性能。
➡️
