近无限背景下的分块 Transformer 环形注意力
原文中文，约200字，阅读约需1分钟。
📝
内容提要
Ring Attention是一种提高Transformer处理长序列能力的方法，通过分块计算自注意力和重叠通信，消除了设备内存限制，在语言建模任务上取得了显著性能提升。
🏷️
