最近的研究发现，Transformer在学习基于梯度的实值函数算法方面表现良好，但在复杂任务上性能下降。研究还发现Transformer可以根据上下文示例的顺序自适应选择更高效的算法。预训练的大语言模型在预测任务上与最近邻基线竞争。

本文研究了Transformer模型在学习实值函数方面的局限性和其他算法的能力，发现在更复杂的任务上性能下降。同时，提供教学序列时，Transformer学习更高效，可以自适应地选择更高效的算法。研究展示了LLMs可以与最近邻基线竞争。

本文研究了Transformer模型在学习实值函数方面的局限性，发现其在复杂任务上性能下降。同时，Transformer可以学习实现不同算法来解决一个任务，并自适应地选择更高效的算法。预训练的大语言模型可以在不在训练集中的预测任务上竞争。