跨模态干扰协同攻击用于人物再识别
内容提要
该文综述可见光-红外行人重识别研究，针对RGB与红外图像模态差异大的难题，总结了多种方法：模态自适应Mixup与不变分解学习模态不变表征；基于对齐灰度模态生成一致数据并对齐特征；四流框架学习不同图像表示；专用数据增强减小图像损坏影响；双通道跨模态特征学习保留空间结构并提取对比特征；Patch-Mixed框架实现语义对应；视频跨模态方法构建数据集并提取时间信息；像素级抑制模态相关特征；生成配对图像进行全局与细粒度对齐；以及结合时空关系挖掘的对抗攻击防御视频方法。
延伸解读
方法演进：从静态图像到视频时序
文章梳理的十余项研究显示，可见光-红外行人重识别的方法重心正从静态图像向视频时序扩展。早期工作（如2019年的四流框架、双通道跨模态学习）聚焦单帧图像的特征对齐与空间结构保留；2022年后出现基于视频的RGB-IR数据集构建与时间内存提取，2023年的防御方法进一步结合时空关系挖掘。这一脉络表明，模态差异问题正从空间域延伸到时空域，对数据规模和模型鲁棒性提出更高要求。
对齐策略的多样性：生成、分割与像素级抑制
针对RGB与红外模态差异，文章列举了多种对齐思路：AGM方法生成灰度可见光图像与风格迁移红外图像以构造一致数据；PMCM通过图像分割拼接实现语义对应；另有方法在像素级抑制模态相关特征，或生成跨模态配对图像进行全局与细粒度对齐。这些策略分别从数据生成、空间语义和特征抑制层面入手，说明该领域尚未形成统一范式，不同方法在各自基准上报告了优势，但跨数据集泛化能力仍需关注。
数据增强与对抗防御：提升鲁棒性的两条路径
文章提到专门针对可见光-红外多模态的数据增强方法，旨在减小复杂场景下图像损坏的影响并促进模态协作；2023年的视频方法则从对抗性自攻击防御角度，将攻击与防御集成到一个框架中，并利用时空信息引导特征表示。两者都指向实际部署中的鲁棒性问题：前者应对图像质量退化，后者应对恶意干扰。但文章未提供这些方法在真实场景下的计算开销或实时性数据，读者需注意其评估仍限于基准数据集。
Q&A
可见光-红外行人重识别面临的主要挑战是什么？
主要挑战是RGB和红外图像之间存在显著的模态差异，导致同一行人在不同模态下的特征难以匹配。
有哪些方法可以学习模态不变的表征？
例如模态自适应Mixup与不变分解方法（MID），通过学习模态不变且具有鉴别力的表征来应对模态差异；还有方法将两种模态投射到模态不变的子空间中，并提取时间内存以实现运动不变性。
如何通过数据生成或对齐来提升跨模态检索表现？
可以基于对齐灰度模态（AGM）生成灰度可见光图像和风格迁移转换红外图像得到一致数据，再结合多颗粒度特征提取网络在特征级别对齐；或者生成跨模态的配对图像并进行全局和细粒度实例级别的对齐。
针对视频跨模态行人重识别有哪些专门方法？
有研究构建视频RGB-IR数据集，证明视频到视频匹配的重要性，并提出将两种模态投射到模态不变子空间并提取时间内存的方法；还有方法从对抗性自攻击防御和时空关系挖掘角度，集成对抗攻击与防御，并利用空间-时间信息引导的特征表示网络提取稳健特征。
有哪些框架通过图像块混合或双通道学习来保留空间结构？
Patch-Mixed Cross-Modality框架（PMCM）通过图片分割并拼接实现语义对应；双通道跨模式特征学习框架在共同3D张量空间中嵌入交叉模式图像以保留空间结构，并通过动态比较输入图像对提取对比特征。
数据增强如何帮助减少模态差异和图像损坏的影响？
专门针对可见光-红外多模态的数据增强方法可以减小复杂场景下RGB和IR图像损坏的影响，鼓励模态间协作并加强泛化能力，使模型在多个数据集上胜过未进行数据增强的模型。
