绕过指数依赖：循环变压器通过多步梯度下降有效学习上下文

本研究提出了一种基于高效Transformer机制的长程语言模型EVALM，显示其在上下文学习和指令调整方面优于现有模型。

EVALM采用8k批处理行的方式进行训练，能够测试长度达到256k的上下文，实验结果显示其平均精度比现有PLMs高4.1%。

研究表明，Transformer可以在面对语境示例时模拟核回归算法，并且注意力和隐藏特征与核回归的行为相匹配。

提出了一种有效的两阶段方法来增强大型语言模型中的上下文学习，将学习过程分为'Thinking'和推理阶段。

在更简单的任务上，Transformer几乎可以与最佳学习算法相匹配，但在复杂任务上性能下降。

Transformer能够根据上下文示例的顺序自适应选择更高效的算法来解决任务。

对比了In-Context Learning (ICL)和Gradient Descent (GD)在语言模型上的表现差异，发现二者在适应输出分布上存在不一致行为。

基于SVD的权重剪枝可以增强ICL性能，且深层剪枝权重通常导致浅层性能的更稳定改善。

提出了一种创新方法，通过学习每个任务的模板函数来实现上下文泛化，表明Transformer能够有效学习上下文信息。

研究发现，循环变压器能够通过训练收敛至算法解，尽管地形是非凸的，梯度流仍能快速收敛。