面向零样本基于草图的图像检索的模态感知表示学习
内容提要
该文综述零样本草图图像检索（ZS-SBIR）的多项研究：提出大领域差异与大规模检索新场景及QuickDraw-Extended数据集；采用对称双向知识对齐与一对多聚类跨模态匹配缩小模态差距；以“适应和对齐”实现已见类到未见类的知识迁移；SAKE通过微调保留语义知识；领域平滑网络结合对比学习与类别记忆库；基于Transformer的跨模态网络具备可解释性；三网络哈希算法缓解异构性；生成模型、GAN与连体网络、概率生成模型等方法均提升检索性能。
延伸解读
从大领域差异到大规模检索：新场景与数据集
文章指出实际ZS-SBIR常面临大领域差异和大规模检索问题，为此提出新场景并构建QuickDraw-Extended数据集，同时集成外部语义知识辅助语义转换。这提示读者：评估草图检索系统时，需关注训练与测试领域差距及检索库规模，而非仅看标准数据集上的精度。
知识对齐与迁移：从已见类到未见类
多项工作围绕“适应和对齐”展开：对称双向知识对齐框架对齐教师与学生模型，一对多聚类跨模态匹配缩小模态差距；SAKE通过微调保留语义知识；另有方法借助更语义化的文本嵌入实现已见类到未见类的知识转移。这些思路共同说明，零样本检索的关键在于如何稳定迁移已有语义知识。
跨模态网络与可解释性
基于Transformer的跨模态网络包含可学习tokenizer的自注意力模块、视觉token间的交叉注意力模块以及基于核的相关网络，并通过可视化token提供解释性。这表明ZS-SBIR研究不仅追求检索精度，也开始关注模型决策的可解释性，为理解跨模态匹配过程提供了新视角。
异构性缓解与生成式方法
三网络哈希算法利用Kronecker融合层和图卷积缓解手绘图像异构性，并以生成哈希重建语义知识表示；生成模型、GAN与连体网络、概率生成模型等方法也被用于提升检索性能。这些方案从不同角度应对草图与照片的模态差异，但文章未给出统一基准下的横向对比，读者需留意各方法实验设置不同。
Q&A
零样本草图图像检索（ZS-SBIR）在实际应用中常遇到哪些问题？
常见问题包括大领域差异和大规模检索问题。
QuickDraw-Extended数据集是用来做什么的？
QuickDraw-Extended是一个新的ZS-SBIR数据集，用于处理大领域差异和大规模检索问题，并提供训练代码和数据集供未来研究使用。
对称双向知识对齐学习框架是如何工作的？
该框架用于实现教师和学生模型之间的知识对齐，并通过一对多的聚类跨模态匹配方法来缩小模态差距。
SAKE方法如何保留语义知识？
SAKE在预训练模型的基础上通过微调（fine-tunes）和利用语义信息来保留图像检索中先前获得的知识，从而在零样本学习场景下实现更好的性能。
基于Transformer的跨模态网络有哪些组成部分？
包括可学习tokenizer的自我关注模块、计算视觉tokens之间交叉关注模块，以及基于核的相关网络，通过对组之间的比较实现优秀性能，并通过可视化tokens实现解释性。
三网络哈希算法如何缓解手绘图像的异构性？
该算法利用Kronecker融合层和图卷积来缓解手绘图像的异构性，并提出一种生成哈希方案来重建语义知识表示，实现语义哈希，在Sketchy和TU-Berlin扩展数据集上取得显著性能提升。
