变压器作为传感器
内容提要
本文探讨了 Transformer 编码器的计算模型及其在语言识别和序列转换任务中的应用。研究表明，Transformer 通过自注意力和前馈层的特性，能够有效逼近复杂序列关系，并在高维数据上表现出优越性。实验结果显示，Transformer 在音素识别和语言处理任务中显著优于传统 RNN 模型。
延伸解读
理论定位：Transformer 与形式语言
文章指出，Transformer 编码器通过硬注意力和未来掩码识别的语言类属于无星自由语言，而加入位置嵌入可扩展识别范围。布尔 RASP 技术将 Transformer 与一阶逻辑、时间逻辑和代数自动机理论联系起来，这为理解其计算能力提供了形式化视角，也解释了为何 Transformer 能处理某些序列任务。
逼近能力与高维优势
研究表明，当目标函数具有各向异性平滑性时，Transformer 能通过特征提取和参数共享避免维数爆炸，并动态估计重要特征，达到与固定平滑度相似的收敛速度。此外，Transformer 可普遍逼近任意连续序列到序列函数，使用位置编码绕过排列等变性限制，这支持了其在高维数据上的实践成功。
实验表现与任务局限
在 15 项 ASR、1 项多语言 ASR、1 项 ST 和 2 项 TTS 基准测试中，Transformer 在 13/15 项 ASR 基准上显著优于 RNN。然而，在简单推理任务（如算术和奇偶性）上仍存在问题，且 RNN seq2seq 在字符串转换任务中表现出显著局限性，说明 Transformer 的能力并非无边界。
Q&A
Transformer 编码器的基本组件是什么？
Transformer 编码器的基本组件包括注意力机制和前馈计算。
Transformer 在高维数据上的表现如何？
Transformer 在高维数据上具有优越的特征提取能力，能够避免维数爆炸。
Transformer 模型的逼近能力如何？
Transformer 模型能够普遍逼近任意的连续序列到序列函数，展示了其强大的逼近能力。
与传统 RNN 模型相比，Transformer 的优势是什么？
实验结果显示，Transformer 在音素识别和语言处理任务中显著优于传统 RNN 模型。
如何通过布尔 RASP 技术与 Transformer 结合？
通过布尔 RASP 技术，Transformer 与一阶逻辑、时间逻辑和代数自动机理论相结合。
Transformer 在语言识别中的应用效果如何？
Transformer 通过硬注意力和严格的未来掩码来识别语言，表现出优越的效果。
