Transformers 作为正规语言的识别器:表达能力调查
原文中文,约200字,阅读约需1分钟。发表于: 。通过将问题视为形式语言,研究人员在调查变压器能够解决和不能解决的理论问题方面取得了显著进展,这有助于比较变压器与其他模型以及不同变压器变体在各种任务中的性能,并提供了一个统一的框架来协调看似矛盾的研究结果。
本文总结了Transformer在时间序列建模中的优点、局限性、适应性和修改,并对预测、异常检测和分类等时间序列任务进行了分类。通过实证分析,研究了Transformer在时间序列中的表现,并提出了未来研究方向。这是第一篇全面系统地总结Transformer在时间序列数据建模领域进展的论文。