该文介绍了一种名为 Fourier Transformer 的方法，通过使用快速傅里叶变换算子来执行离散余弦变换，以减少计算成本并保留从预训练模型中继承权重的能力。该模型在长距离建模基准 LRA 上表现最佳，在生成 Seq-to-Seq 任务方面也优于标准 BART 和其他高效模型。