注意力已不再是唯一需求
原文中文，约300字，阅读约需1分钟。发表于：。该论文提出了一种自注意力机制的替代方案，称为 “Extractor”，通过将自注意力机制替换为 “Extractor” 可以提高 Transformer 模型的性能，并且 “Extractor” 具有比自注意力更短的计算路径，从而有潜力在速度上更快地运行。此外，论文还通过基于变长离散时间马尔可夫链的文本生成场景下的序列预测问题对 Transformer 进行了回顾。
该论文介绍了一种名为“Extractor”的自注意力机制替代方案，可提高Transformer模型性能并加快速度。论文还通过序列预测问题对Transformer进行了回顾。
