SCANNER: 基于知识增强的鲁棒多模态未见实体命名识别方法
内容提要
本文介绍了多种命名实体识别（NER）框架和方法，如MGNER、DMNER和MNER-QG。这些方法通过结合上下文信息和多模态学习，显著提高了实体识别的准确性和性能。实验结果表明，这些新技术在不同NER任务中优于现有基线模型。
延伸解读
多模态NER的跨模态对齐挑战
文章指出，多模态命名实体识别（MNER）需要处理图像和文本的模态差异。例如，MNER方法动态对齐图像和文本顺序，MNER-QG通过查询接地提供视觉区域先验，SnapCaptions数据集结合Bi-LSTM和深度图像网络。这些工作表明，跨模态对齐是提升MNER性能的关键，但如何有效融合视觉与文本信息仍是研究难点。
外部知识增强NER的两种路径
文章介绍了两种利用外部知识增强NER的方法：一是自适应NER，将未充分学习的实体作为查询从非结构化文本中检索知识，在CrossNER上F1提高2.35；二是级联方法，将候选实体链接到知识库并预测细粒度类别，在MultiCoNER2中表现强大。两者都强调外部知识对识别细粒度或新兴实体至关重要，但知识库的覆盖和质量可能影响效果。
低资源与跨语言场景的应对策略
针对低资源语言和标注数据稀缺问题，文章提到微软在交叉语种NER中采用半监督学习和强化学习，利用源语种标注数据和目标语种无标注数据取得新SOTA；开源软件系统的NER通过两步远程监督注释过程，结合语言启发式、查找表和主动学习，克服了专家注释稀缺的局限。这些方法为数据稀缺场景提供了可行方案，但依赖外部资源的质量。
不确定性评估提升可信度
文章最后提出一种结合不确定性评估的多模态NER框架，通过模拟每种模态的分布并融合成统一分布，促进预测准确性和可信度，同时利用大型预训练基础模型进行高效融合。实验表明该方法优于基准并达到新SOTA。这提示未来NER系统不仅追求性能，还需关注预测的可靠性，尤其在多模态融合中。
Q&A
MGNER框架的主要优势是什么？
MGNER框架通过上下文信息和自我注意机制，F1分数提高了4.4%，有效检测多个不重叠或嵌套的实体。
DMNER框架是如何提高生物医学实体识别的？
DMNER框架将实体识别分解为实体边界检测和生物医学实体匹配两个步骤，展示了在不同NER情景下的有效性。
MNER-QG框架的创新之处是什么？
MNER-QG框架同时执行多模态命名实体识别和查询接地任务，增强了文本和图像的表征，实验结果优于现有模型。
自适应NER方法如何提升模型性能？
自适应NER方法利用未经充分学习的实体作为查询，从非结构化文本中检索外部知识，F1分数提高2.35。
新的命名实体识别级联方法的步骤是什么？
该方法包括识别候选实体、链接知识库和预测细粒度类别，展示了外部知识库的重要性。
微软在交叉语种命名实体识别中采用了哪些技术？
微软使用半监督学习和强化学习的方法，结合源语种的标注数据和目标语种的无标注数据，取得了新的最先进性能。
