More Expressive Attention Mechanism with Negative Weights

本研究提出了一种新型的“Cog Attention”注意力机制，允许负权重以提高表达能力。该机制通过动态的QK内积，灵活处理令牌的删除、复制与保留，增强模型在表示崩溃情境下的鲁棒性。实验结果显示，Cog Attention模型的性能显著优于传统的softmax注意力模块。