量子位 ·

微软清华改进Transformer：用降噪耳机原理升级注意力，一作在线答疑

💡 原文中文，约3000字，阅读约需7分钟。

📝

内容提要

微软与清华团队提出改进版Differential Transformer，通过差分注意力替代传统softmax，解决了传统Transformer的噪声问题，显著提升了长上下文建模和信息检索任务的性能，模型参数需求减少至65%。实验结果表明，DIFF Transformer在准确性和稳定性上优于传统模型，代码已开源。

🎯

关键要点

微软与清华团队提出改进版Differential Transformer，解决传统Transformer的噪声问题。
通过差分注意力替代传统softmax，显著提升长上下文建模和信息检索任务的性能。
DIFF Transformer模型参数需求减少至65%，在准确性和稳定性上优于传统模型。
DIFF Transformer在长上下文能力、关键信息检索、上下文学习能力等方面表现优异。
差分注意力模块通过对Q和K分组计算softmax，增强了注意力机制的效果。
DIFF Transformer在多样本分类和上下文学习的稳健性上均优于传统Transformer。
在激活异常值分析中，DIFF Transformer表现出更低的顶部激活值，减少了激活异常值。
DIFF Transformer的代码已开源，相关讨论引发了学术界的广泛关注。

❓

延伸问答

DIFF Transformer是如何改进传统Transformer的？

DIFF Transformer通过差分注意力替代传统softmax，显著提升了长上下文建模和信息检索任务的性能，解决了噪声问题。

DIFF Transformer在模型参数需求上有什么变化？

DIFF Transformer的模型参数需求减少至65%，在性能上与传统Transformer相当。

DIFF Transformer在长上下文能力上表现如何？

DIFF Transformer在长上下文建模中表现优异，随着上下文长度增加，准确性持续提高。

DIFF Transformer的差分注意力模块是如何工作的？

差分注意力模块通过对Q和K分组计算softmax，然后进行减法，增强了注意力机制的效果。

DIFF Transformer在信息检索任务中的表现如何？

在信息检索任务中，DIFF Transformer的准确率在不同上下文长度下保持稳定，优于传统Transformer。

DIFF Transformer的代码是否开源？

是的，DIFF Transformer的代码已开源，相关代码可以在微软unilm项目下找到。

🏷️