针对弱监督式人员再识别的对比式多实例学习

💡 原文中文,约1300字,阅读约需4分钟。
📝

内容提要

该文综述多实例学习在弱监督场景的应用,包括:用对比实例学习降低远程监督噪声并在NYT10等数据集提升效果;将行人重识别转为多示例多标记问题;提出对比与原型学习实现实例分类;用持续优化改善非凸性;结合软多标签、记忆机制和多内存匹配做无监督行人重识别;并用于全幻灯片图像分类与肿瘤检测。

🔎

延伸解读

弱监督行人重识别的技术路线

文章汇总了多种弱监督行人重识别方法,包括将问题转化为多示例多标记学习、基于软多标签学习、基于多标签分类和记忆机制、以及多内存匹配框架。这些方法共同点在于利用无标注或弱标注数据,通过伪标签生成、跨模态聚类和一致性约束来学习判别性特征,从而减少对昂贵人工标注的依赖。

对比学习在多实例学习中的多重角色

对比学习被用于多个环节:在远程监督关系抽取中作为对比实例学习框架减少噪声;在实例级MIL中结合原型学习生成伪标签;在医学图像中通过自监督对比学习提升表示质量。这表明对比学习能有效处理弱监督下的噪声和标签不准确问题,增强模型鲁棒性。

多实例学习在医学图像分析的应用

文章提到基于MIL的方法用于全幻灯片图像分类和肿瘤检测,无需局部注释,并引入自监督对比学习和金字塔融合机制。另一项工作使用迭代自适应有监督对比学习处理类不平衡,在医学数据集上提升实例级伪标签和表示质量。这些应用显示MIL在减少标注成本的同时,能保持较高的分类和定位准确性。

非凸性优化与跨模态扩展

针对MIL中的非凸性问题,持续多实例学习(C-MIL)通过持续优化技术改善弱监督目标检测和定位的准确性。此外,DOTLA框架将多模态学习与最优传输标签分配结合,用于无标签跨模态数据集,并通过跨模态邻域一致性完善标签。这些进展表明MIL正从单模态向多模态和优化理论方向拓展。

❓

Q&A

弱监督行人重识别中,如何将问题转化为多示例多标记学习?

文章提出将弱监督行人重识别转化为多示例多标记学习问题,并提出了CV-MIML方法及基于深度神经网络的Deep CV-MIML模型,在四个弱标记数据集上表现优异。

对比实例学习如何减少远程监督数据中的噪声?

文章提出一种新的对比实例学习框架,将初步多实例学习作为关系三元组编码器,并针对每个实例的正负对进行限制,从而减少远程监督生成的训练数据中的噪声,在NYT10、GDS和KBP上较以前方法有显著提高。

无监督行人重识别中,软多标签学习是如何应用的?

文章提出基于软多标签学习的无监督人物识别方法,引入参考代理学习表示每个参考人物,利用视觉特征和软多标签的相似性一致性对目标域学习区分嵌入,并开展跨视角一致的软多标签学习以实现学习目标。

持续多实例学习(C-MIL)如何改善多实例学习的非凸性问题?

文章通过引入“持续优化”技术来改善多实例学习中的非凸性问题,并将其命名为持续多实例学习(C-MIL),以此提高弱监督目标检测和弱监督目标定位的准确性和效果。

多示例学习在全幻灯片图像分类和肿瘤检测中如何应用?

文章提出一种基于MIL的方法,用于全幻灯片图像(WSI)分类和肿瘤检测,无需局部注释,并提出了自我监督对比学习及金字塔融合机制,从而提高分类和定位的准确性。

可见-红外无监督人物再识别中的多内存匹配框架是如何工作的?

文章提出一种用于可见-红外无监督人物再识别的多内存匹配框架,通过生成伪标签和建立不依赖于任何先前注释的多模态伪标签对应关系来解决关键挑战,并使用交叉模态聚类、多内存学习和匹配以及软聚类级对齐策略来改进现有方法的不足,提高跨模态对应关系的可靠性和效果。

🏷️

标签

➡️

继续阅读