TACTiS-2: 用于多元时间序列的更好、更快、更简单的注意力联合分布

BriefGPT - AI 论文速递 · 2023-10-02T00:00:00Z

本文提出了一种名为FMLA的灵活的多头线性注意力方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。同时，还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低FMLA的冗余。实验结果表明，该算法在top-1准确性方面具有可比性，并且在浮点运算每秒和参数数量方面比三种基于Transformer的模型更加高效。