建模双语句子处理：评估 RNN 和 Transformer 体系结构用于跨语言结构启动
内容提要
本文比较了基于循环神经网络（RNN）和Transformer架构的语言模型在人类语言处理中的表现，发现Transformer在解释阅读时间和神经活动方面更优。研究表明，Transformer模型能够有效学习抽象结构信息，并在多语言环境中共享语法表示。此外，提出了一种基于图循环网络的预训练方法，显示出在性能和生成多样性上的优势。
延伸解读
Transformer 在认知建模中的优势
文章指出，Transformer 在解释自定步调阅读时间和神经活动方面优于 RNN，这挑战了人类句子处理必然涉及循环和即时处理的传统观点。这意味着在模拟人类语言理解时，注意力机制可能比循环结构更贴近实际认知过程，为计算模型的选择提供了新依据。
跨语言语法表示的共享与形成
多语言模型在第二语言曝光不到 1M 标记后即表现出跨语言结构启动效应，说明抽象语法表示可以早期形成并跨语言共享。但文章也提到数据污染和低资源转移等问题，提示读者在解读多语言模型的语法能力时需谨慎，并关注这些因素对表示形成的影响。
图循环网络预训练方法的潜力
文章提出一种基于图循环网络的预训练方法，在性能、效率和生成多样性上优于基于注意力机制的 Transformer。这为自监督学习提供了新思路，表明循环结构结合图表示可能在某些任务中更具优势，值得进一步探索其适用场景和局限性。
Q&A
RNN和Transformer在语言处理中的表现有什么不同？
研究发现，Transformer在解释阅读时间和神经活动方面优于RNN。
Transformer模型如何处理多语言环境中的语法表示？
Transformer能够有效学习抽象结构信息，并在多语言环境中共享语法表示。
文章中提到的基于图循环网络的预训练方法有什么优势？
这种预训练方法在性能、效率和生成多样性方面优于基于注意力机制的Transformer。
跨语言结构启动效应在多大程度上影响语言模型的学习？
研究发现，跨语言结构启动效应在第二语言曝光不到1M标记的数据后就会早期显现。
Transformer模型如何模拟人类的阅读行为？
Transformer模型可以准确模拟人类阅读行为，预测出各种眼动特征。
文章中提到的结构性解析辅助训练对Transformer模型有什么影响？
引入结构性解析的辅助训练能够提高Transformer语言模型在句法推理上的泛化能力。
