本文综述Transformer在程序编写与形式验证中的表现,指出其处理结构递归和长距离嵌套依赖时存在明显缺陷,表现远低于机会水平。研究提出推入式层、循环Transformer及神经程序员-解释器框架等改进方法,以增强递归状态跟踪与泛化能力。实验表明,这些方法可提升样本效率和句法泛化,但模型推理仍主要依赖表层模式,扰动可使F1分数降至17%以下。
完成下面两步后,将自动完成登录并继续当前操作。