稀疏自编码器的实用性研究：稀疏探测的案例研究

本研究探讨了稀疏自编码器（SAE）在大型语言模型（LLM）激活解读中的有效性，尤其是在数据稀缺、类别不平衡、标签噪声和协变量偏移等挑战性情况下。尽管SAE在某些数据集上偶尔显示出优于基线的方法，但整体上无法稳定地超越仅使用基线的集成方法，强调了当前SAE的局限性及对解释性方法在实际应用中严格评估的必要性。