CoNLL#: CoNLL-03 英文细粒度错误分析和校正测试集
原文中文，约400字，阅读约需1分钟。发表于：。现代命名实体识别系统在更大更强大的神经模型时代中稳步提高性能。本文通过对最高性能 NER 模型的测试输出进行深入分析，并在测试集上引入新的文档级注释，对其性能进行精细评估。我们通过对错误进行分类，超越 F1 分数，解释 NER 的真实技术水平并指导未来的研究。我们回顾了之前纠正测试集各种缺陷的尝试，并引入了一个新的纠正版本 CoNLL#，解决了其系统性和最常见的错误，从而允许进行低噪声、可解释的错误分析。
该研究介绍了SemEval-2023 Task 2的发现，该任务聚焦于12种语言的复杂名词实体识别方法，包括单语和多语境以及噪声情况下的实现。MultiCoNER 2是SemEval-2023中最受欢迎的任务之一，发现了媒体标题和产品名称是最具挑战性的实体类型，并提出了融入外部知识到transformer模型的方法以实现最佳表现。嘈杂的数据对模型性能有重要影响，未来研究需要关注嘈杂数据中复杂实体的NER鲁棒性。
