DAPE V2：将过程注意力得分作为长度外推的特征图

本研究发现传统Transformer在处理长序列时受限于键-查询乘积。通过将注意力机制转化为特征图并引入卷积操作，提出了一种新方法，大幅提升了Transformer的性能，展示了架构发展的潜力。