本研究通过分析GPT-2 Small在预测三字母缩写任务中的行为，发现预测是通过8个注意力头的电路实现的，其中约5%的头属于三个不同的作用组，主要集中在缩写预测功能上。关键的头使用了位置信息，通过因果掩码机制进行传递。此研究为理解多个令牌预测的复杂行为奠定基础。