辅助任务需求掩盖了较小语言模型的能力
内容提要
该研究探讨了大型语言模型（LLMs）的推理能力，提出了一种基于“反事实”任务的评估框架。研究发现，LLMs在社交认知任务中的表现与儿童相似，但在物体行为认知和因果推理方面存在显著差异，表明需要更多现实世界的探索。此外，LLMs的能力可分为推理、理解和核心语言建模三部分，某些认知任务中的表现有限，强调了对语言理解的全面评估需求。
延伸解读
反事实任务揭示模型脆弱性
文章指出，当把评估任务改为反事实变体时，当前语言模型的表现会严重且一致地降级。这意味着模型可能依赖表面线索而非真正理解，提醒研究者在解释模型能力时需更加谨慎，不能仅凭原始任务的高分就断定其具备稳健的推理能力。
与儿童认知发展的对比启示
通过儿童发展心理学实验，研究发现LLMs在社交认知任务中表现与儿童相似，但在物体行为认知、心理理论和因果推理方面差异显著。这表明这些领域可能需要现实世界的自发探索，仅靠语言输入难以习得，为模型能力边界提供了发展心理学的参照。
能力结构的三分框架
基于29个LLM的数据分析，研究将模型能力分解为推理、理解和核心语言建模三个部分，且这三者能解释性能差异的高比例。这一框架有助于更细致地诊断模型强弱项，指导针对性改进和评测，避免将能力视为单一维度。
评估标准与语言理解全面性
文章批评现有基准可能不够严格，基于模板的基准缺乏结构多样性，且模型在传统演绎推理上表现有限。因此，研究主张重新思考NLP的任务和评估，追求更全面的语言理解视角，并将可靠性置于核心，以推动更可靠的系统发展。
Q&A
大型语言模型（LLMs）在社交认知任务中的表现如何？
LLMs在社交认知任务中的表现与儿童相似。
研究中提到的LLMs能力结构包括哪些部分？
LLMs的能力可分为推理、理解和核心语言建模三部分。
LLMs在因果推理方面的表现如何？
LLMs在因果推理方面的表现与儿童有显著差异，显示出其能力有限。
研究对现有评估标准有何看法？
研究认为现有评估标准可能不够严格，需要更全面的评估。
LLMs在传统演绎推理问题上的表现如何？
LLMs在传统演绎推理问题上的解决能力有限。
研究建议如何改进自然语言处理中的模型评估？
研究建议重新思考任务和模型评估，追求对语言的更全面视角。
