该文介绍了堆栈注意力，一种集成堆栈的注意力操作符，以解决标准注意力无法识别某些句法结构的局限性。该方法有两种变种，能够使得 transformers 能够识别任意 CFLs。该方法在学习 CFLs 方面非常有效，并在自然语言建模中更加有效。