BriefGPT - AI 论文速递
·
More Expressive Attention Mechanism with Negative Weights
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出了一种新型的“Cog Attention”注意力机制，允许负权重以提高表达能力。该机制通过动态的QK内积，灵活处理令牌的删除、复制与保留，增强模型在表示崩溃情境下的鲁棒性。实验结果显示，Cog Attention模型的性能显著优于传统的softmax注意力模块。
🎯
关键要点
-
本研究提出了一种新型的'Cog Attention'注意力机制，允许注意力权重为负，以提高表达能力。
-
Cog Attention通过动态的QK内积，灵活处理令牌的删除、复制与保留。
-
该机制增强了模型在表示崩溃情境下的鲁棒性。
-
实验结果显示，Cog Attention模型的性能显著优于传统的softmax注意力模块。
🏷️
