变压器学习动态中的分布简单性偏差

本文解决了目前对变压器与自监督学习能力之间简单性偏差理解不足的问题。研究表明，变压器在处理自然语言数据时，首先学习简单的多体交互，然后逐渐掌握复杂的高阶交互。这一发现拓宽了我们对交互如何影响学习过程的理解，尤其是在自然语言处理领域。