该研究介绍了一种将基于Transformer的大型语言模型扩展到无限长输入的有效方法，同时保证有界内存和计算。该方法使用了新的Infini-attention技术，将压缩性记忆融入传统的注意力机制中，并在单个Transformer块中集成了局部和长期线性注意力机制。该方法在长文本语言建模、1M序列长度密钥上下文块检索和500K长度的书籍摘要任务上展示了有效性，使用1B和8B规模的大型语言模型。该方法引入了最小化的有界内存参数，并实现了LLMs的快速流式推理。

该研究介绍了一种将基于Transformer的大型语言模型扩展到无限长输入的有效方法，同时保证有界内存和计算。该方法使用了新的Infini-attention技术，将压缩性记忆融入传统的注意力机制中，并在单个Transformer块中集成了局部和长期线性注意力机制。该方法在长文本语言建模、1M序列长度密钥上下文块检索和500K长度的书籍摘要任务上展示了有效性，使用1B和8B规模的大型语言模型。该方法引入了有界内存参数，并实现了LLMs的快速流式推理。