最近的研究发现，语言模型中的激活可以通过稀疏线性组合来建模。研究者开发了度量方法来评估这些稀疏编码技术的成功，并测试了线性和稀疏假设的有效性。研究结果显示，语言模型的激活可以准确地被特征的稀疏线性组合所建模，且模型的激活在第一层和最后一层似乎是最稀疏的。