LOCOST: 面向长文档提要生成的状态空间模型

LOCOST是一种基于状态空间模型的编码器-解码器结构，用于生成带有长上下文输入的条件文本。它具有低复杂度的计算和处理超长序列的能力。LOCOST在长篇摘要任务上与同等规模的顶级稀疏转换器相媲美，并在训练和推理过程中节省了大量内存。此外，LOCOST还能有效处理超过600K个标记的输入文本，并在全书摘要任务上达到了新的最先进水平。