逻辑阅读理解中临时推理理解的评估

为了评估语言模型在逻辑阅读理解方面的能力，研究人员提供了一个测试数据集，通过众包解释选择或排除答案选项的理由。实验结果显示，最近的大型语言模型在回答多项选择子问题时面临困难，尤其是在回答针对主要问题的错误选项而编写的子问题时表现糟糕。这表明语言模型在解释为什么应该排除错误选项的能力有限。这个数据集鼓励进一步研究语言模型的关键推理能力。