谷歌推出无限上下文的新Transformer
原文中文，约5600字，阅读约需14分钟。发表于：。谷歌这项研究引入了一种有效的方法，可以将基于 Transformer 的大型语言模型 (LLM) 扩展到具有有限内存和计算的无限长输入。一个关键组成部分是一种称为“无限注意力 Infini-attention ”的新注意力技术： Infini-attention 将压缩记忆融入到普通的注意力机制中，并在单个 Transformer 块中构建了屏蔽局部注意力和长期线性注意力机制。要点：...
谷歌推出了名为Infini-attention的新Transformer模型，可以高效处理无限上下文。该模型通过融入压缩记忆到注意力机制中，有效处理长上下文。Infini-attention在语言建模和书籍摘要等任务中表现出优越性能，为人工智能系统的推理和持续学习能力带来新的可能性。
