本研究提出了一种基于潜在向量定义注意力的方法，将传统transformer模型的时间复杂度降低为随序列长度线性增长。该模型适用于双向和单向任务，并且在推理过程中能够高效地进行语言生成任务的记忆和时间循环实现。与标准transformer相比，该方法只需常数时间计算下一个记号，实证表现相当，且允许在标准attention不可行的背景窗口范围内进行扩展。