大脑中的多路径分析
内容提要
本文综述多项研究，探讨语法分析方法对大脑语言网络的影响。研究发现，不同句法分析在大脑各区域的编码效果不同，语法与语义信息结合能更好地预测大脑活动。神经语言模型在语法处理上与人类存在差异，surprisal理论低估了句法预测作用。左右半球在语义和句法处理上存在差异。
延伸解读
语法与语义的协同编码
文章指出，不同句法分析方法在大脑各区域的编码效果不同，而语法信息和语义信息的结合能更好地预测大脑活动。这提示大脑语言网络并非孤立处理语法或语义，而是整合两者。此外，对GPT-2激活的分析发现，组合表示比词汇表示更广泛地招募大脑皮层网络，且句法和语义共享分布式神经基础，进一步支持了语法与语义的紧密关联。
神经语言模型与人类语法处理的差距
通过在线实验比较人类和神经语言模型在语法处理中的表现，发现模型在遇到语法问题时，会低估人类反应时间在显著性方面的差异。这质疑了现代语言模型是否接近人类对语法违规的敏感性。同时，surprisal理论虽能解释阅读速度减慢，但低估了句法预测的影响，即使区分句法预测与词汇预测，仍远低估人类阅读园路效应的程度，表明模型与人类处理机制存在差距。
左右半球在语言处理中的分工
研究使用信息限制的自然语言处理模型，发现左右半球在语义和句法处理方面存在差异，且在上下文范围和集成窗口方面敏感性不同。这表明大脑语言网络并非对称处理语言信息，而是存在功能偏侧化。这一发现有助于理解语言处理的神经基础，并为构建更接近人脑的语言模型提供启示。
增量句法解析的挑战与进展
文章探讨了基于现代架构的全面增量依存解析，发现其性能远落后于双向解析，并面临语言学上合理解析的挑战。然而，自回归神经语言模型的下一词预测中存在隐含的增量句法推理，可通过探测器提取不完全句法结构。此外，双向注意力模型在依存句法分析上达到多语言最先进水平，而联合句法和语义的神经网络模型在Propbank基准上取得最好成绩，显示句法和语义可相互促进。
Q&A
不同句法分析方法对大脑语言网络的编码效果有何差异？
研究发现，不同的语法分析方法在大脑不同区域的编码效果不同，且语法信息和语义信息的结合能更好地预测大脑活动。
神经语言模型在语法处理上与人类有何差异？
当神经语言模型遇到语法问题时，会在显著性方面低估人类反应时间的不同，这对现代语言模型是否接近人类对语法违规的敏感性提出了质疑。
surprisal理论如何解释阅读中的园路效应？其局限性是什么？
surprisal理论假设阅读速度减慢是由于句子中每个单词的不可预测性，但该假设低估了句法预测的影响。即使将句法预测能力与词汇预测能力区分开来，surprisal仍然远远低估了人类阅读园路效应的影响。
左右半球在语义和句法处理上有何差异？
研究发现左右半球在语义和句法处理方面存在差异，且在上下文范围和集成窗口方面敏感性不同。
如何从语言模型激活中分离句法和语义表示？
通过对GPT-2的激活进行统计，将高维度激活分解为词汇、组合、句法和语义四个组合类别，发现组合表示比词汇表示更广泛地招募大脑皮层网络，且句法和语义共享一个分布式神经基础。
自回归神经语言模型是否隐含增量句法推理？
是的，研究提出了从自回归语言模型中提取不完全句法结构的探测器，发现这些探测器可用于预测模型对可疑前缀的偏好、对模型表现进行因果干预，表明自回归神经语言模型的下一词预测中存在隐含的增量句法推理。
