对称点积注意力用于 BERT 语言模型的高效训练
内容提要
本文研究了点积自注意力机制在Transformer模型中的重要性，并提出了Synthesizer模型，展示了其在多个任务中的竞争性表现。Synthesizer在速度和资源效率上优于动态卷积和Linformers，并通过新的动态注意力方法增强了模型对抗性攻击的鲁棒性。此外，提出的多种新注意力机制在效率和学习能力上超越了标准多头注意力，显著提高了Transformer模型的性能。
延伸解读
Synthesizer 的提出与效率优势
文章提出 Synthesizer 模型，它无需 token 交互，通过学习合成注意力权重，在多个任务中取得竞争性表现。与动态卷积和 Linformers 相比，Synthesizer 不仅速度更快，还提高了 perplexity。这表明在某些场景下，放弃 token 间交互仍能保持模型性能，同时提升计算效率。
动态注意力增强鲁棒性
文章提出一种名为动态注意力的新方法，旨在增强 Transformer 架构对各种对抗性攻击的鲁棒性，显著减轻攻击影响。该方法还可与对抗性训练等其他防御方法结合，进一步提升模型鲁棒性。这为提升模型安全性提供了新思路。
三种新注意力机制的性能超越
文章引入三种新注意力机制：优化的注意力、高效的注意力和超级注意力。它们在效率和学习能力上均超越标准多头注意力。优化的注意力参数减少 3/4，每个头部少一次矩阵乘法；高效的注意力参数减半，速度是标准的两倍；超级注意力在视觉和 NLP 任务中显著超过标准注意力，且参数和矩阵乘法更少。
注意力权重的输入无关性发现
文章通过比较标准注意力与仅依赖位置的简化版本，发现在参数化变分波函数领域，简化版本在减少计算成本和参数的同时取得竞争性结果。分析表明，优化结束时注意力权重变得与输入无关。这一结论在长输入句子的 NLP 领域也可能适用，为排除查询和键提供了依据。
Q&A
Synthesizer模型的主要优势是什么？
Synthesizer模型在速度和资源效率上优于动态卷积和Linformers，并在多个任务中表现竞争力。
新提出的动态注意力方法有什么作用？
动态注意力方法增强了模型对抗性攻击的鲁棒性，显著减轻了对抗性攻击的影响。
文章中提到的三种新注意力机制是什么？
三种新注意力机制分别为优化的注意力、高效的注意力和超级注意力。
Synthesizer模型如何提高perplexity？
Synthesizer模型通过除以键值长度之和而非平方根来缩放点积，从而提高了perplexity。
新注意力机制在计算代价和内存使用上有什么优势？
新注意力机制在计算代价和内存使用方面优于标准多头注意力，显著提高了Transformer模型的性能。
Synthesizer模型的设计理念是什么？
Synthesizer模型的设计理念是无需token交互，学习合成注意力权重，以提高模型的效率和性能。
