BriefGPT - AI 论文速递 · 2024-10-01T00:00:00Z

Sparse Attention Decomposition Applied to Circuit Tracing

📝

内容提要

本文分析了GPT-2 small模型中注意力头的互动，研究其在复杂任务中的沟通特征。通过稀疏编码信号，分离信号与噪声，揭示了注意力头通信路径和冗余路径的本质。

🏷️

标签

GPT-2 冗余路径 注意力头 稀疏编码 通信路径