本文探讨自注意力机制在语音识别中的应用，提出了双向Transformer和局部高效自我注意力等改进方法，以提升模型效率与性能。研究表明，简单的自监督预训练模型可与复杂模型媲美，结合卷积模块的语音转换器在ASR任务中表现优异。