BriefGPT - AI 论文速递 · 2023-10-24T00:00:00Z

利用傅立叶变换进行状态序列预测的表示学习

📝

内容提要

该文介绍了一种名为 Fourier Transformer 的方法，通过使用快速傅里叶变换算子来执行离散余弦变换，以减少计算成本并保留从预训练模型中继承权重的能力。该模型在长距离建模基准 LRA 上表现最佳，在生成 Seq-to-Seq 任务方面也优于标准 BART 和其他高效模型。

🎯

关键要点

• 提出了一种名为 Fourier Transformer 的方法。

• 该方法使用快速傅里叶变换（FFT）算子执行离散余弦变换（DCT）。

• 通过消除隐藏序列中的冗余信息，显著减少计算成本。

• 保留了从大型预训练模型中继承权重的能力。

• 在长距离建模基准 LRA 上表现最佳。

• 在生成 Seq-to-Seq 任务中优于标准 BART 和其他高效模型。

🏷️

标签

Fourier Transformer Seq-to-Seq 任务 快速傅里叶变换算子 离散余弦变换 预训练模型