稀疏自编码器中的暗物质分解

本研究针对稀疏自编码器（SAE）未能完全解释模型性能的问题，深入探讨了未解释的方差，即“暗物质”。我们发现约一半的误差向量和超过90%的范数可以通过初始激活向量线性预测。此外，较大的SAE在重构相同上下文时表现不佳，这为我们提出的新模型和误差处理方法提供了实证支持。