DiJiang: 通过紧凑核化实现高效的大型语言模型

为了减小 Transformers 的计算负荷，本文提出了一种名为 DiJiang 的新型频域内核化方法，使预训练的普通 Transformer 能够以较小的训练成本转变为线性复杂度模型。该方法采用了加权准蒙特卡罗抽样方法，理论上具有更高的近似效率。通过基于离散余弦变换（DCT）运算的内核化进一步降低训练计算复杂度。广泛的实验证明，所提出的方法在与原始 Transformer...