本文分析了GPT-2 small模型中注意力头的互动,研究其在复杂任务中的沟通特征。通过稀疏编码信号,分离信号与噪声,揭示了注意力头通信路径和冗余路径的本质。
完成下面两步后,将自动完成登录并继续当前操作。