泰国 Winograd Schema：泰语常识推理基准
内容提要
本文探讨了无监督学习在常识推理中的应用，特别是针对Winograd Schema Challenge的研究。通过对大量未标记数据的训练，提出了新的评估方法和基准，分析了现有基准的局限性，并展示了预训练语言模型在多语言环境中的有效性。研究表明，尽管模型表现有所提升，但仍存在对人类理解的敏感性差异。
延伸解读
评估方法革新：双子句基准揭示WS局限性
文章指出当前Winograd Schema评估方法不够优化，提出基于双子句的新评估方法和两种新基准。在严格评估下，WS基准的性能提升主要源于监督训练，而非真正的常识推理能力。这表明现有基准可能高估了模型的推理水平，读者需关注评估协议对结论的影响。
人类与模型差异：语言扰动敏感性对比
研究发现，预训练语言模型对最小程度影响人类理解的扰动（如数字或性别替换、同义词置换）更敏感，而人类预测更稳定一致，在非联想实例上表现更好。模型有时因错误原因而正确，人类总体更准确。这提示模型推理与人类理解存在本质差异，微调专用数据集可缓解问题。
常识知识分类与WinoWhy任务
论文首次对回答Winograd Schema所需的基本常识知识进行全面分类，分为六类主要知识类别，并开发新任务WinoWhy证明预训练语言表示模型仍存在缺陷。这为诊断模型常识推理能力提供了新视角，读者可借此理解模型在常识知识上的具体不足。
跨语言推理：多语言编码器的零样本能力
研究提出利用预训练跨语言模型进行常识推理，在多语言Winograd模式语料库上评估，结果显示即使在其他语言零样本情况下，性能也与监督和非监督方法相当。这提供了多语言编码器普遍推理能力的证据，表明跨语言迁移在常识推理中具有潜力。
Q&A
Winograd Schema Challenge 是什么？
Winograd Schema Challenge 是一种常识推理和自然语言理解的挑战，涉及高度歧义的代词对，需要深刻理解文本内容和情景。
无监督学习在常识推理中的应用有哪些？
无监督学习通过对大量未标记数据的训练，优化常识推理任务的得分，避免了昂贵的注释知识库和手工特征工程。
文章中提到的新的评估方法是什么？
文章提出了一种基于双子句的新评估方法，并提出了两种新的基准方法，以证明现有 Winograd Schema 基准的局限性。
预训练语言模型在 Winograd Schema Challenge 中的表现如何？
尽管大规模预训练语言模型在 Winograd Schema 测试中表现有所提升，但仍存在对人类理解的敏感性差异。
WinoWhy 任务的目的是什么？
WinoWhy 任务旨在证明预训练语言模型在常识推理中的缺陷，并对回答 Winograd Schema Challenge 所需的基本常识知识进行分类。
多语言模型在常识推理中的表现如何？
提出的跨语言模型在多语言环境中表现出与监督和非监督方法相当的性能，证明了多语言编码器的推理能力。
