预训练语言模型作为桥梁：重构基于多模态上下文的命名实体识别
内容提要
本文综述了多模态命名实体识别（MNER）的主要进展，包括：MNER-QG实现联合识别与查询接地；BGA-MNER通过双向生成对齐，推理时无需图像；不确定性融合框架提升可信度；动态对齐图文顺序增强表示；GLiNER紧凑高效；Flat交互Transformer减少视觉偏见；MGNER处理嵌套实体；GPT-NER以生成式自我验证应对低资源场景。
延伸解读
多模态NER的技术路线分化
文章综述的多个模型展示了多模态命名实体识别的不同技术路线。MNER-QG通过查询接地实现端到端联合识别；BGA-MNER采用双向生成对齐，推理时无需图像输入；不确定性融合框架则强调预测可信度。这些差异反映了研究在精度、效率与鲁棒性之间的不同权衡，读者可据此判断各方法适用的场景。
效率与性能的平衡选择
GLiNER以紧凑模型实现并行实体抽取，在基准测试中优于ChatGPT和微调大模型；Flat交互Transformer通过相对位置编码和辅助任务减轻视觉偏见。这些工作表明，不依赖超大模型也能取得有竞争力的结果，对于计算资源有限或需要低延迟的应用具有参考价值。
低资源与复杂结构的应对策略
GPT-NER将序列标注转化为生成任务，并引入自我验证策略缓解幻觉，在低资源场景下显著优于有监督模型。MGNER则专注于嵌套实体识别，通过多粒度检测提升F1分数。两者分别针对数据稀缺和实体结构复杂的问题，为特定难点提供了解决思路。
Q&A
多模态命名实体识别（MNER）目前有哪些主要进展？
主要进展包括：MNER-QG实现联合识别与查询接地；BGA-MNER通过双向生成对齐，推理时无需图像；不确定性融合框架提升可信度；动态对齐图文顺序增强表示；GLiNER紧凑高效；Flat交互Transformer减少视觉偏见；MGNER处理嵌套实体；GPT-NER以生成式自我验证应对低资源场景。
MNER-QG框架有什么特点？
MNER-QG是一种新颖的端到端框架，可以同时执行基于MRC的多模态命名实体识别和查询接地任务，并通过查询的帮助提供识别实体类型和视觉区域的先验知识，进一步增强了文本和图像的表征。在Twitter2015和Twitter2017上实验表明，MNER-QG在MNER任务上优于当前最先进的模型，并提高了查询接地性能。
BGA-MNER方法如何解决多模态命名实体识别中的问题？
BGA-MNER是一种双向生成对齐方法，用于解决多模态命名实体识别中的语义鸿沟、实体与图像中相关对象之间的匹配以及隐式实体-对象关系等问题。实验证明，该方法在推断过程中无需图像输入，取得了最先进的性能。
有哪些方法可以提升多模态命名实体识别的可信度？
一种结合不确定性评估的多模态命名实体识别框架可以提升可信度。该算法模拟每种形式的分布并将它们融合成统一分布，以促进预测准确性和可信度。同时提出了一种利用大型预训练基础模型的高效融合方法，实验表明该方法优于基准并实现了新的最先进性能。
GLiNER模型在命名实体识别中表现如何？
GLiNER是一种紧凑的命名实体识别模型，通过双向变压器编码器实现并行实体抽取，同时在各种命名实体基准测试中展现出强大的性能，优于ChatGPT和经过微调的大型语言模型。
GPT-NER算法如何解决低资源命名实体识别问题？
GPT-NER是一种基于GPT模型的NER算法，它通过将序列标注任务转化为生成任务来弥补LLMs在NER任务上的缺陷，并提出自我验证策略以解决LLMs易出现的幻觉问题。实验结果表明，该算法表现与有监督算法相当，在低资源学习中表现显著优于有监督模型，具有实现限制样本NER应用的能力。
