TempoFormer:用于变化检测的时间感知表示的变换器
原文中文,约300字,阅读约需1分钟。发表于: 。本研究解决了动态表示学习中对语境和时间动态的建模缺口,提出了一种新颖的时间感知变换器模型TempoFormer。该模型通过引入旋转位置嵌入的时间变体,能够高效地联合训练语境动态,表现出在三项实时变化检测任务上实现了新的最佳性能。
Transformer-XL是一种新的神经架构,解决了上下文破碎问题,超越了固定长度的依赖关系。它比普通的Transformers快1800多倍,并在短序列和长序列上表现更好。实验结果显示,Transformer-XL在多个语料库上表现优于当前最先进的结果。