BriefGPT - AI 论文速递
·
对无限字母表上的寄存式自动机和转换器的单次使用限制
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
研究发现变压器能够表达出令人惊讶的大类转导，使用 RASP 的变体作为中间表示形式，扩展了布尔变体 B-RASP 和引入了两个新的扩展。结果表明变压器解码器是图灵完备的。
🎯
关键要点
- 研究变压器的序列到序列映射能力，发现其能够表达出大类转导。
- 使用 RASP 的变体作为中间表示形式，旨在帮助人们“像变压器一样思考”。
- 扩展现有的布尔变体 B-RASP 到序列到序列函数，计算一阶有理函数。
- 引入两个新的扩展：B-RASP [pos] 和 S-RASP，分别支持位置计算和前缀和。
- 掩码平均硬注意力变压器可以模拟 S-RASP。
- 结果表明变压器解码器是图灵完备的。
➡️
