本文介绍了一种新编程语言ALTA及其编译器，能够将ALTA程序转换为Transformer模型权重。ALTA支持循环表达，展示了Transformer执行长度不变算法（如奇偶校验和加法）的能力，无需中间解码步骤。文章还提出了一种新工具，分析算法可表达性与训练失败之间的关系，建议使用ALTA执行轨迹作为细粒度训练信号，以深入理解Transformer模型的能力。