BriefGPT - AI 论文速递
·
研究 Mamb 中的间接宾语识别电路
📝
内容提要
将现有的可解释性技术应用于未来模型能取得多好的泛化效果？以 Mamba 为案例研究，该文章我们将之前的技术应用于 Mamba，并部分逆向工程了负责间接对象识别 (IOI) 任务的电路。我们的研究证明了：1）第 39 层是一个关键瓶颈，2）第 39 层的卷积将名称向前移动一个位置，3）名称实体在第 39 层的 SSM 中线性存储。最后，我们使用一种自动电路发现工具，即位置边归因弥补，来识别...
➡️
