Transformer 模型可以实现长度概括，但不具备鲁棒性

BriefGPT - AI 论文速递 · 2024-02-14T00:00:00Z

Transformer-XL是一种新的神经架构，能够超越固定长度的依赖关系，并解决上下文破碎问题。它比普通的Transformers快1800多倍，并在短序列和长序列上表现更好。实验结果显示，Transformer-XL在多个语料库上表现优于当前最先进的结果。