最近的研究发现，Transformer在学习基于梯度的实值函数算法方面表现良好，但在复杂任务上性能下降。提供教学序列可以提高Transformer的学习效率。预训练的大语言模型（LLMs）也在预测任务中具有竞争力。

本文研究了Transformer模型在学习实值函数方面的局限性和其他算法的能力，发现在更复杂的任务上性能下降。同时，提供教学序列时，Transformer学习更高效，可以自适应地选择更高效的算法。研究展示了LLMs可以与最近邻基线竞争。

本研究发现Transformer在简单任务上表现良好，但在复杂任务上性能下降。提供教学序列可以提高Transformer的学习效率，它可以学习实现不同的算法来解决一个任务，并根据上下文示例的顺序自适应地选择更加高效的算法。预训练的大语言模型可以在不在其训练集中的预测任务上与最近邻基线竞争。