哪些注意力头对于上下文学习至关重要？

本研究探讨了大型语言模型在上下文学习中的机制，发现功能向量头主导少样本学习性能，而归纳头则促进功能向量机制的学习，为理解语言模型的学习机制提供了新视角。