MLLMReID: 基于多模态大型语言模型的人员再识别
内容提要
该文汇总多模态学习进展，提出MMET、MMM、PMT、InfMLLM、BiLMa等模型，改进视觉-语义嵌入与人物重识别；利用MLLM提升视觉语言表示并扩展图像标题，检索性能显著提高；RLMRec结合大语言模型增强推荐系统语义理解。
延伸解读
多模态大语言模型在视觉-语义嵌入中的角色
文章汇总的多项工作显示，MLLM正被用于改进视觉-语义嵌入学习。例如MMET通过多模态等价Transformer实现更鲁棒的嵌入，MMM动态遮罩机制加强跨模态特征学习。这些方法共同指向一个趋势：利用大语言模型的语义理解能力，弥合视觉与文本模态间的鸿沟，从而提升人员再识别等任务的性能。
人员再识别中的模态变化与特征共享挑战
针对VI-ReID任务中复杂的模态变化问题，PMT框架采用渐进式共享模态转换器，并对模态共享特征进行可靠度和共性分析。同时，DCL和MSEL损失函数被用来缓解大内部差异和小类间差异。这些设计说明，处理模态异质性和类内变化仍是提升ReID性能的关键，而多模态方法提供了新的解决思路。
MLLM增强视觉语言表示的实际效果与局限
文章提到，通过MLLM扩展图像标题并采用“文本切割”方法，在图像文本检索中微调和零样本设置下分别获得5.6~35.0%和16.8~46.1%的R@1提升，零样本结果甚至可与目标数据集微调相媲美。这表明MLLM能有效提升数据质量和表示学习，但同时也需注意其可能引入的偏见和固有标题风格，需通过技术手段加以控制。
Q&A
MMET是什么？它在人员再识别中有什么作用？
MMET是一种多模态等价Transformer，用于更鲁棒的视觉-语义嵌入学习和人物重新识别，并引入动态遮罩机制MMM来加强其他模态的特征学习，从而提高性能。
PMT框架如何解决VI-ReID任务中的模态变化问题？
PMT采用渐进式共享模态转换器来解决VI-ReID任务中复杂的模态变化问题，并对模态共享特征进行可靠度和共性分析；同时提出Discriminative Center Loss (DCL)和Modality-Shared Enhancement Loss (MSEL)来缓解大内部差异和小类间差异问题，从而更好地区分共享特征。
多模态大型语言模型如何提升视觉语言表示学习？
多模态大型语言模型通过提高数据质量来增强视觉语言表示学习，使用MLLMs扩展每个图像的多个标题，并通过“文本切割”方法防止MLLMs引入的偏见和内在标题风格，在图像文本检索中，微调和零样本设置下分别获得5.6〜35.0％和16.8〜46.1％的R@1提升。
RLMRec是什么？它如何增强推荐系统？
RLMRec是一个模型不可知的框架，通过整合大型语言模型与推荐系统的表示学习，增强现有的推荐器，提高其对于用户行为和偏好的语义理解，并通过交叉视角对齐框架将LLM的语义空间与协同关系信号的表示空间相对应。
BiLMa框架在图像识别任务中有什么创新？
BiLMa框架引入了双向本地匹配，提出了Masked Language Modeling (MLM)和Masked Image Modeling (MIM)的联合优化方法，同时引入Semantic MIM (SemMIM)来减小图像和文本之间的语义差距，在三个评估基准上达到了最先进的Rank@1和mAP得分。
InfMLLM方法在哪些任务中取得了优异性能？
InfMLLM方法通过引入pool-adapter模块保留视觉嵌入的位置信息，在图像描述、视觉问题回答和视觉定位等任务中达到了与最新的多模态大语言模型相当或超越的性能。
