研究以OPT-66B为例，分析大语言模型各组件对上下文学习的作用：重要注意力头多集中于中间层，重要前馈网络多位于后层；移除70%的注意力头和20%的前馈网络后，模型在14项NLP任务上的性能几乎不受影响。仅少数注意力头对上下文学习至关重要，提示模型可能存在训练不足，扩大模型规模时需同步增加预训练数据。