更具表现力的负权重注意力机制
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对传统注意力机制的局限性，提出了一种新型的"Cog Attention"注意力机制，该机制允许注意力权重为负，从而提高表达能力。通过动态的QK内积，Cog Attention能够更加灵活地处理令牌的删除、复制与保留，同时增强模型在表示崩溃情境下的鲁棒性，实验结果表明，采用Cog Attention的模型在性能上显著优于传统的softmax注意力模块。
本研究提出了一种新型的Cog Attention注意力机制，允许负权重，从而提升表达能力。通过动态QK内积，Cog Attention能够灵活处理令牌操作，增强模型的鲁棒性。实验结果表明，其性能显著优于传统的softmax注意力模块。
