TACTiS-2: 用于多元时间序列的更好、更快、更简单的注意力联合分布
原文中文，约300字，阅读约需1分钟。发表于：。多元概率时间序列预测的新模型引入了 copula 理论，提出了基于 transformer 的简化目标函数 TACTiS，其分布参数数量与变量数量成线性关系。新目标函数引入了训练计划，并对原始架构进行必要的改变。结果表明，该模型在各种真实世界预测任务中具有显著改进的训练动力学，并实现了最先进的性能，同时保持了如处理不对齐和采样不均匀的时间序列等先前工作的灵活性。
本文提出了一种名为FMLA的灵活的多头线性注意力方法，通过与可变形卷积块和在线知识蒸馏进行分层交互来提高局部感知能力。同时，还提出了一种简单但有效的掩码机制，以减少时间序列中的噪声影响并降低FMLA的冗余。实验结果表明，该算法在top-1准确性方面具有可比性，并且在浮点运算每秒和参数数量方面比三种基于Transformer的模型更加高效。
