本文探讨了无监督学习在常识推理中的应用，特别是针对Winograd Schema Challenge的研究。通过对大量未标记数据的训练，提出了新的评估方法和基准，分析了现有基准的局限性，并展示了预训练语言模型在多语言环境中的有效性。研究表明，尽管模型表现有所提升，但仍存在对人类理解的敏感性差异。

本文综述Winograd Schema Challenge（WSC）相关研究：微调BERT等模型在WSC273和WNLI上准确率分别提升8.8%和9.6%；构建大规模无监督WSC-like数据集KnowRef-60K以减少与预训练语料重叠；提出WinoGrande、WinoWhy等数据集并对常识知识分类，揭示模型仍存缺陷。

大规模预训练语言模型在Winograd Schema Challenge上表现提高，但对最小程度影响人类理解的例子的语言扰动敏感。人类在预测中更稳定和一致，在非联想实例上表现更好。微调可以解决这些问题。