本文综述长序列建模进展，包括Ring Attention分块计算提升内存效率、LongNet扩张注意力处理超十亿标记、MovieChat用记忆机制理解长视频、VideoLLM借LLM推理能力做视频理解、LightSeq优化长上下文训练，以及线性注意力和语音识别改进。