WSC+: 基于专家树的增强 Winograd Schema 挑战
内容提要
本文综述Winograd Schema Challenge（WSC）相关研究：微调BERT等模型在WSC273和WNLI上准确率分别提升8.8%和9.6%；构建大规模无监督WSC-like数据集KnowRef-60K以减少与预训练语料重叠；提出WinoGrande、WinoWhy等数据集并对常识知识分类，揭示模型仍存缺陷。
延伸解读
微调提升与局限
文章指出，微调BERT等模型在WSC273和WNLI上准确率分别提升8.8%和9.6%，达到72.5%和74.7%，且在“复杂”子集上更稳健。这表明微调能有效利用预训练语言模型的知识，但准确率仍远未饱和，说明代词消歧任务依然具有挑战性。
数据重叠与KnowRef-60K
研究发现测试实例与预训练语料库的重叠会显著影响模型分类准确性，重叠比例高时模型表现好，但在最小重叠实例上表现下降。为此构建的KnowRef-60K数据集显著降低了与预训练语料的重叠，为更公平评估常识推理能力提供了新基准。
常识知识分类与WinoWhy
文章提到对回答WSC所需的基本常识知识进行了全面分类，分为六类主要知识类别，并开发了新任务WinoWhy。通过该任务证明预训练语言表示模型仍存在缺陷，表明模型可能依赖表面线索而非真正理解常识，为未来研究指明了改进方向。
方法比较与未来方向
文章分析表明，微调在较简单的联想问题上更有利，而建模句子结构对较困难的非联想子集更有帮助。同时，更大的微调数据集能带来更好性能，这提示未来注释更多Winograd模式句子具有潜在价值，也说明单一方法难以解决所有类型的WSC问题。
Q&A
Winograd Schema Challenge (WSC) 是什么？
Winograd Schema Challenge 是一种常识推理和自然语言理解挑战，它包含一对句子，每个句子中有一个高度歧义的代词，需要深刻理解文本内容和情景才能正确解决。
微调BERT等模型在WSC任务上取得了怎样的性能提升？
通过微调BERT语言模型，在WSC273和WNLI数据集上的总体准确率分别达到了72.5%和74.7%，相较于先前的最优方案提高了8.8%和9.6%。
KnowRef-60K数据集是什么？它有什么特点？
KnowRef-60K是一个大规模的无监督WSC-like数据集，它是至今为止最大的Winograd Schema Challenge风格的常识推理语料库，并且与当前的预训练语料库重叠比例显著降低。
WinoGrande数据集解决了什么问题？
WinoGrande数据集被证明在处理机器通用感性问题方面有效，但同时提出了机器学习算法数据集的偏见问题，需要进行算法级别的“偏见减少”来基本获得良好的机器通用感性问题解决方案。
WinoWhy任务揭示了预训练语言模型的什么缺陷？
WinoWhy任务通过开发新任务，证明了预训练语言表示模型依旧存在缺陷，即使它们在某些任务上表现良好。
在WSC任务中，微调方法和建模句子结构分别对哪类问题更有效？
微调在较简单的联想问题中更有利，而建模句子结构则对较困难的非联想子集更有帮助。
