最近的研究发现，Transformer在学习基于梯度的实值函数算法方面表现良好，但在复杂任务上性能下降。研究还发现Transformer可以根据上下文示例的顺序自适应选择更高效的算法。预训练的大语言模型在预测任务上与最近邻基线竞争。