变压器学习通过思维链实现多步梯度下降

本文研究了链式思维（CoT）提示在大语言模型中的应用，尤其是在从线性回归的上下文权重预测任务中。研究表明，使用CoT提示的变压器能够自回归地学习执行多步梯度下降，显著提高了模型在新数据上的泛化能力，并且与未使用循环的变压器相比，应用循环的变压器在线性回归的上下文学习中表现出更好的最终性能。