本研究探讨了稀疏语言模型的高效训练方法，包括异步训练和专家模型培训。引入稀疏自编码器解决了估计偏差问题，实现了可解释特征的无监督发现。同时，提出自适应稀疏训练（AST），显著缩小稠密与稀疏模型的性能差距，推动特征的普遍性和可解释性发展。