使用 Delta 规则并行化线性变换器来处理序列长度
原文中文，约400字，阅读约需1分钟。发表于：。用 Delta 规则训练线性变压器，并结合滑动窗口和全局注意力层构建的混合模型，在语言建模和下游任务中表现出色。
本研究提出了一种基于潜在向量定义注意力的方法，将传统transformer模型的时间复杂度降低为随序列长度线性增长。该模型适用于双向和单向任务，并且在推理过程中能够高效地进行语言生成任务的记忆和时间循环实现。与标准transformer相比，该方法只需常数时间计算下一个记号，实证表现相当，且允许在标准attention不可行的背景窗口范围内进行扩展。
