使用一组上下文敏感模型的图像相似度
内容提要
本文汇总多项研究：词汇蕴含识别新方法在部分数据集上表现更优；CENs模型学习可解释图像嵌入并建模工人偏差；课程学习通过调整标签表示提升训练效果；少量未见图片可降低标注成本并提升泛化；提出上下文视觉相似度用于图像搜索；基于上下文概率比较的框架提升语句相似度；可解释图像嵌入减少匹配搜索成本；图神经网络测量场景图相似度用于图像检索；Un-Mix无监督学习提升泛化；图像对相似度度量学习增强嵌入鲁棒性。
延伸解读
从词汇到图像：相似度研究的跨领域脉络
文章汇总的研究跨越词汇蕴含、语句相似度与图像相似度，显示相似性判断在不同模态中共享方法论：通过上下文或嵌入改进表示。例如词汇蕴含新方法建立语义关系分类联系，语句相似度框架用上下文概率比较应对标注数据不足。这提示读者，图像相似度进展可借鉴文本领域的无监督与上下文建模思路。
可解释嵌入如何降低图像匹配成本
CENs模型学习可解释图像嵌入并建模工人偏差，另一项工作利用3D可视表面重叠学习场景特定相似度，减少查询图像匹配与几何验证的搜索成本。这些方法共同指向：让嵌入维度对应可理解的视觉因素，不仅提升可解释性，还能在搜索中快速缩小候选范围，对实际图像检索系统有参考价值。
无监督与少样本策略的泛化收益
Un-Mix通过混合输入数据学习更鲁棒表示，在多个数据集上保持超参数不变即提升泛化；另一研究仅添加少量未见图片到训练集，就降低标注成本并估计动态环境中模型性能。两者都说明，在标注昂贵或环境变化的场景下，无监督和少样本增强是提升泛化性的实用方向，但文章未给出具体适用边界。
场景图与度量学习：更贴近人类感知的检索
基于场景图相似度的检索方法用图神经网络测量结构相似性，并以人工标题计算相关性训练模型，评估显示比竞争方法更符合人类对图像相似性的感知。另一项研究通过嵌入集合独立性改进图像对相似度度量学习，在检索任务上优于业界领先方法。这提示读者，结合结构化表示与鲁棒度量学习是提升检索感知质量的重要路径。
Q&A
上下文视觉相似度是什么？它如何用于图像搜索？
上下文视觉相似度是一种用于图像搜索的概念。它通过使用三张图片（查询图片、正向图片和负向图片），学习各图像各维度特征的权重，并对距离进行重加权，从而确定查询图片与正向图片的相似度以及它们与负向图片的相异度。
CENs模型在图像嵌入方面有什么特点？
CENs（Context Embedding Networks）模型能够从图像中学习可解释的嵌入向量，同时建模众包计算中的工人偏差和视觉背景。实验表明，相比于现有方法，该模型能得出更可解释的嵌入向量。
如何降低监督式深度学习模型的训练与注释成本并提升泛化性能？
通过向训练集中添加一小部分未见图片，可以降低训练与注释成本，提高监督式深度学习模型的泛化性能，并能在动态环境中对未见数据的模型性能提供估计。
Un-Mix无监督学习方法有什么优势？
Un-Mix是一种基于标签空间的无监督学习方法，通过混合输入数据进行联合工作，学习到更加精细、鲁棒且广义的表示。在CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet和ImageNet等数据集上，该方法在保持基本方法的超参数和训练程序不变的条件下，能显著提高模型的泛化性能。
基于场景图相似度的图像检索方法是如何工作的？
该方法使用图神经网络测量场景图的相似度，并利用人工注释的标题计算图片相关性测量来训练图神经网络。收集了一个数据集用于评估检索算法，结果显示该方法比竞争方法更符合人类对图像相似性的感知。
在深度神经网络中，如何学习图像对的相似性函数以提高嵌入鲁棒性？
通过利用嵌入集合中的独立性来提高嵌入的鲁棒性，并借助在线梯度提升问题来划分深度网络的最后嵌入层。提出两个损失函数来增加集合的多样性，可用于权重初始化过程或训练期间。在图像检索任务上的评估表明，该度量学习方法在多个数据集上均取得了比业界领先方法更好的表现。
