变量时间序列变压器中的关联注意力

本文介绍了一种灵活的多头线性注意力（FMLA）方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。同时，还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低FMLA的冗余。结果表明该算法在top-1准确性方面具有可比性，并以更低的复杂度实现了更好的效率。