Transformer-XL是一种新的神经架构，能够超越固定长度的依赖关系，并解决上下文破碎问题。它比普通的Transformers快1800多倍，并在短序列和长序列上表现更好。实验结果显示，Transformer-XL在多个语料库上表现优于当前最先进的结果。