将现有的可解释性技术应用于未来模型能取得多好的泛化效果？以 Mamba 为案例研究，该文章我们将之前的技术应用于 Mamba，并部分逆向工程了负责间接对象识别 (IOI) 任务的电路。我们的研究证明了：1）第 39 层是一个关键瓶颈，2）第 39 层的卷积将名称向前移动一个位置，3）名称实体在第 39 层的 SSM 中线性存储。最后，我们使用一种自动电路发现工具，即位置边归因弥补，来识别...

本文研究了语言中的距离最小化原则在主语、宾语和动词三元组中的表现，并引入了词序旋转的概念。结果显示，在韩语、马拉雅拉姆语和僧伽罗语这三种灵活顺序的语言中，存在交换距离最小化的证据，尤其在马拉雅拉姆语中更为突出。