阿里巴巴Qwen团队的论文《Gated Attention》提出在Transformer注意力机制中引入门控，以解决训练不稳定、注意力聚焦和长上下文表现不佳的问题。该方法通过选择性过滤信息，提升了模型性能和训练稳定性，已在Qwen3-Next模型中应用，效果显著。