熟悉度:通过量化合成训练数据中的标签变化更好地评估零样本命名实体识别
📝
内容提要
本研究针对当前零样本命名实体识别(NER)评估的不足,特别是合成数据集与标准评估基准之间标签相似性的过度估计。我们提出了一种新颖的评估指标“熟悉度”,能够量化训练和评估数据集之间的标签变化,从而提供更准确的零样本表现分析。这一方法有助于研究人员更好地理解和比较使用合成训练数据集时的零样本NER得分。
➡️
本研究针对当前零样本命名实体识别(NER)评估的不足,特别是合成数据集与标准评估基准之间标签相似性的过度估计。我们提出了一种新颖的评估指标“熟悉度”,能够量化训练和评估数据集之间的标签变化,从而提供更准确的零样本表现分析。这一方法有助于研究人员更好地理解和比较使用合成训练数据集时的零样本NER得分。