TransformerFAM：反馈注意力即工作记忆
内容提要
本文探讨了改进 Transformer 模型的方法，包括门控注意力单元、线性近似和自我注意力机制，以提高内存利用效率和处理长序列的能力。研究表明，这些新模型在语言建模任务中显著提升了性能，同时降低了计算复杂度和内存需求。
延伸解读
长序列处理的技术路线
文章梳理了多种扩展Transformer处理长序列能力的方法，包括Ring Attention通过分块计算和重叠通信提高内存效率，Infini-attention将压缩记忆融入注意力机制，以及自我注意力机制学习最优注意范围。这些方法从不同角度缓解了传统Transformer因内存需求而难以处理长序列的问题，为读者理解长上下文建模提供了技术图谱。
效率与性能的权衡
FLASH模型通过门控注意力单元和线性近似，在自回归语言模型上训练速度提升4.9倍，同时保持分词结果；Performer通过FAVOR实现线性标度，适用于蛋白质序列建模等复杂任务。这些案例表明，在降低计算复杂度和内存需求的同时，模型性能并未被牺牲，甚至有所提升，为实际应用中的效率优化提供了参考。
架构创新的多样性
文章提到了多种架构改进，如仅由注意力层组成并加入持续性存储向量替代前馈层的模型，以及使用更少长时记忆并限制低层注意力范围的方法。这些创新在保持或超越Transformer-XL性能的同时，减少了内存和计算开销，展示了Transformer架构在结构上的灵活性和可优化空间。
Q&A
TransformerFAM模型的主要改进是什么？
TransformerFAM模型通过引入门控注意力单元和线性近似方法，显著提升了内存利用效率和处理长序列的能力。
Ring Attention方法如何提高内存利用效率？
Ring Attention方法通过分块计算自注意力和重叠通信，允许处理更长的输入序列，从而提高内存利用效率。
FLASH模型在训练速度上有何提升？
FLASH模型在自回归语言模型上训练速度提升了4.9倍，在掩蔽语言模型上提升了4.8倍。
Infini-attention技术的主要特点是什么？
Infini-attention技术将压缩性记忆融入传统注意力机制，扩展了Transformer的输入长度，同时保证有界的内存和计算。
Performer模型的优势是什么？
Performer模型通过Fast Attention Via Orthogonal Random features实现线性标度，适用于复杂任务如蛋白质序列建模，具有显著的有效性。
如何通过自我注意力机制扩展Transformer的上下文大小？
通过提出一种自我注意力机制，可以学习最优的注意范围，从而显著扩展Transformer中的最大上下文大小。
