该文介绍了一种简单的框架，使预训练Transformer能够处理更长的序列，同时计算和内存成本与输入序列长度线性增长。通过在编码步骤中对块间信息进行对齐，提取块间语义信息。实验结果表明，该方法在长文本摘要和阅读理解任务上取得了有效的改进。