基于 CLIP 的可见光 - 红外人员再识别的语义发现网络
内容提要
本文综述可见光-红外行人重识别（VI-ReID）研究进展，介绍层次跨模态解耦、像素级模态抑制、互信息与模态一致性网络、CLIP驱动细粒度挖掘（CFine）、对齐灰度模态、四流框架、模态统一网络（MUN）、渐进共享模态Transformer（PMT）及多样化嵌入扩展网络等跨模态方法，并构建BUPTCampus数据集，在多个基准上优于现有方法。
延伸解读
技术演进：从生成对齐到CLIP语义挖掘
文章梳理的VI-ReID方法呈现清晰演进脉络：早期（2019）侧重生成跨模态图像或四流框架学习共同特征；2021年后转向像素级抑制、互信息与模态一致性网络，强调消除模态差异；2022-2023年出现CLIP驱动细粒度挖掘（CFine）、模态统一网络（MUN）、渐进共享模态Transformer（PMT）等，利用大模型知识或动态建模模态共享/特定表示。这一路径显示研究重心从数据生成转向特征解耦与语义对齐。
数据集与评估：BUPTCampus的补充价值
文章提到构建大规模VI-ReID数据集BUPTCampus，并应用GAN和课程学习取得优越结果。该数据集针对24小时监控中人物检索与跟踪需求，为领域提供新基准。结合PMT在SYSU-MM01和RegDB上的表现、多样化嵌入扩展网络在LLCM上的验证，可见现有研究多在多个公开数据集上对比，但BUPTCampus的引入可能补充特定场景（如校园）的评估维度，读者需关注其与经典基准的差异。
关键挑战：模态差异与类内变异
文章多次指出VI-ReID的核心难点：可见光与红外图像间的模态差异，以及同一身份因视角、姿态等产生的类内变异。MUN通过动态建模模态特定和共享表示应对，PMT则用渐进共享模态转换器分析可靠度与共性，并引入判别中心损失（DCL）和模态共享增强损失（MSEL）缓解大内部差异和小类间差异。这些方法表明，单纯对齐模态不够，还需在特征层面区分共享与特有信息。
Q&A
可见光-红外行人重识别（VI-ReID）主要解决什么问题？
VI-ReID旨在实现24小时监控系统中的人物检索和跟踪，通过匹配可见光和红外相机捕捉的人物图像，克服两种模态之间的差异。
有哪些方法被提出来解决可见光-红外行人重识别中的模态差异问题？
文章提到了多种方法，包括层次跨模态解耦、像素级模态抑制、互信息和模态一致性网络、CLIP驱动的细粒度信息挖掘（CFine）、对齐灰度模态（AGM）、四流框架、模态统一网络（MUN）、渐进共享模态Transformer（PMT）以及多样化嵌入扩展网络等。
CFine方法是如何利用CLIP进行可见光-红外行人重识别的？
CFine是一个基于CLIP驱动的细粒度信息挖掘框架，旨在为TIReID提供强大的多模态知识，通过细粒度信息挖掘建立跨模态对齐，并在多个基准测试上显示了优越的性能。
PMT框架在VI-ReID任务中有什么特点？
PMT采用渐进式共享模态转换器来解决VI-ReID任务中复杂的模态变化问题，并对模态共享特征进行可靠度和共性分析；同时提出Discriminative Center Loss (DCL)和Modality-Shared Enhancement Loss (MSEL)来缓解大内部差异和小类间差异问题，在SYSU-MM01和RegDB数据集上表现优于大多数最新方法。
文章构建了哪个新的数据集用于VI-ReID研究？
文章构建了大规模VI-ReID数据集BUPTCampus，为该领域的进一步研究提供了基础，并通过应用生成对抗网络（GAN）和课程学习等方法取得了显著优越的实验结果。
模态统一网络（MUN）是如何处理VI-ReID中的跨模态差异和类内变异的？
MUN通过动态建模模态特定和模态共享表示来提取判别特征表达，从而解决VI-ReID中的大量跨模态差异和类内变异问题，在多个公共数据集上明显超过当前最先进的方法。
