本研究提出了雅可比稀疏自编码器（JSAEs），解决了传统稀疏自编码器仅关注激活稀疏性的问题。JSAEs实现了输入、输出激活及连接的雅可比矩阵的稀疏性，在保持大规模语言模型（LLM）性能的同时，提升了计算稀疏性，强调了计算图稀疏性在LLM训练中的重要性。