极道
·
机器学习实际上只是旋转形状！
💡
原文中文，约600字，阅读约需2分钟。
📝
内容提要
研究发现大型语言模型中神经元与特征对应关系不清晰，使用玩具模型观察到了特征叠加现象，可以实现超出线性模型的压缩，但需要非线性滤波的干扰。目前还不清楚如何将其推广到真实网络。
🎯
关键要点
- 大型语言模型中神经元与特征的对应关系不清晰。
- 使用玩具模型观察到特征叠加现象。
- 特征稀疏时，叠加可以实现超出线性模型的压缩。
- 叠加现象是可观察的，单义和多义神经元均可形成。
- 某些类型的计算可以通过叠加来执行。
- 特征的叠加存储由相变决定。
- 叠加将特征组织成几何结构，如二边形、三角形等。
- 玩具模型是简单的ReLU网络，尚不清楚如何推广到真实网络。
➡️
