VariErr NLI：将注释错误与人类标签变异分离
内容提要
该文综述人类标注差异研究，构建LiveNLI数据集，用生态有效解释探究自然语言推断标签分歧，发现标注者常因不同原因选同一标签，GPT-3生成解释不稳定。研究还涉及多语言命名实体歧义、无聚合标签数据集、大模型错误检测、搜索相关性标注错误预测，以及多参考标注提升标签分布估计与翻译训练效率。
延伸解读
标注分歧的根源：解释的重要性
LiveNLI数据集通过1415个生态有效解释，直接揭示了标注者选择同一标签可能基于不同原因。这表明仅看标签无法完全理解标注分歧，解释对于导航标签解释至关重要。读者应注意，在自然语言推断等任务中，收集解释有助于更细致地分析标注变异，而非简单归因于错误。
大模型生成解释的局限
研究尝试用少样本提示GPT-3生成解释，但结果不稳定：有时产生有效信息，有时生成不支持标签的不合理解释。这提示当前大模型在解释标注分歧方面仍有改进空间，实际应用中需谨慎评估生成解释的可靠性，不能盲目信任。
多语言与多领域标注错误的应对
文章涉及多语言命名实体歧义、搜索相关性标注错误预测等多个场景，表明标注错误和变异是跨任务的普遍问题。通过自动错误检测模型和多参考标注等方法，可以在固定预算下提升标签分布估计和翻译训练效率，为人机协同标注提供实践方向。
Q&A
LiveNLI数据集是什么？它有什么特点？
LiveNLI是一个包含注解高亮和自由文本解释的生态有效的自然语言推断数据集，通过1415个生态有效解释来研究标签差异。
人类标注者为什么会对同一文本给出不同的标签？
研究发现，解释对于理解标签的不同解释至关重要，标注者有时会基于不同的原因选择相同的标签，这表明解释在导航标签解释方面起着关键作用。
GPT-3在生成解释方面的表现如何？
GPT-3在预测标签分布方面仍有改进空间，其生成解释的结果不一致：有时会产生有效和有信息量的解释，但也会生成不支持标签的不合理的解释。
多参考标注如何提升标签分布估计和翻译训练效率？
通过引入有多个参考的少量样例进行训练，可以在固定注释预算下实现更好的精度；使用错误标记的标注模式可以更高效地训练神经机器翻译模型，同时保证较高的信号强度和良好的标注代价。
自动错误检测模型在数据标注中有什么作用？
自动错误检测模型可以检测搜索相关性标注任务中的潜在错误，并在数据注释过程的效率和质量方面带来显著改善，为人机协同机器学习领域提供重要见解。
命名实体歧义的主要因素是什么？
文本歧义和人工指南变更是高质量修订的差异性注释的主要因素，从分布视角理解命名实体歧义的多向注释是可行且必要的。
