绕过指数依赖：循环变压器通过多步梯度下降有效学习上下文

BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

研究发现，Transformer在简单任务上表现良好，但在复杂任务上性能下降。无注意力模型在某些任务上表现相似。提供教学序列时，Transformer学习更高效，并能自适应选择算法。预训练的大语言模型在新任务上表现出色，与最近邻基线相当。