DAPE V2：将过程注意力得分作为长度外推的特征图
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了传统Transformer模型在长度外推中的表现有限的问题，发现基础的键-查询乘积限制了模型的表现。通过将注意力概念化为特征图并引入卷积操作，本文提供了一种新的处理方法，显著提升了Transformer的性能，预示着当前架构的进一步发展潜力。
本研究发现传统Transformer在处理长序列时受限于键-查询乘积。通过将注意力机制转化为特征图并引入卷积操作，提出了一种新方法，大幅提升了Transformer的性能，展示了架构发展的潜力。
