ViANLI: 针对越南语的对抗自然语言推理
内容提要
本文介绍了多种自然语言推理（NLI）数据集的创建与分析，包括印尼语和中文的首个大规模数据集。研究显示，模型在这些数据集上的表现仍低于人类水平，强调了数据集的挑战性和重要性。同时，采用对抗性训练方法可以有效降低推理中的偏见，推动自然语言处理的发展。
延伸解读
对抗性NLI：更细粒度评估模型
文章提出了一种精细注释对抗性自然语言推理（Adversarial NLI）的方法，通过分析数据集中不同方面的推理并使用手工编码，回答哪种推理类型最常见、哪种模型在每种推理类型上表现最好等问题。这些注释旨在对ANLI训练的模型进行更细粒度评估，深入了解模型失败和成功的原因，并有助于未来训练更好的模型。
多语言NLI数据集的挑战：模型远低于人类
文章介绍了首个印尼语NLI数据集IndoNLI和首个中文大规模NLI数据集。实验显示，即使最佳模型在IndoNLI上的性能仍远低于人类（准确度差距13.4%），在中文数据集上基线测试也远落后于人类。这表明这些数据集具有挑战性，有望加速非英语自然语言处理研究的进展。
对抗性训练降低偏见并提升泛化
文章提到采用对抗性训练和敌对对抗方法的集成来降低自然语言推理中的偏见，这种方法比先前的去偏见努力表现更好，并且在推广到12个其他数据集时表现良好。此外，通过生成多样化的合成NLI数据，模型在全新下游测试环境中具有最佳的泛化性能。
Q&A
什么是对抗性自然语言推理（Adversarial NLI）？
对抗性自然语言推理是一种通过精细注释和分析数据集中的推理类型，评估模型表现的方法。
IndoNLI数据集的特点是什么？
IndoNLI是第一个适用于印尼语的NLI数据集，包含近18K个由众包工人和专家标注的句子对，表现仍低于人类水平。
如何降低自然语言推理中的偏见？
采用对抗性训练和敌对对抗方法的集成可以有效降低自然语言推理中的偏见，表现优于以往的去偏见努力。
中国的首个大规模NLI数据集有什么重要性？
该数据集是首个非英语语言的人采集的MNLI风格数据集，旨在加速中文自然语言处理的进展。
DocNLI数据集的应用场景是什么？
DocNLI数据集涵盖文本的多种类型，适用于文档层级的自然语言推理任务，表现良好。
如何通过生成合成NLI数据提升模型性能？
生成多样化的合成NLI数据可以提升模型在全新下游测试环境中的泛化性能。
