并非所有语言模型特征都是线性的
内容提要
本文研究了大型语言模型（LLMs）中高层语义概念的线性表示，分析了不同模型（如ELMO、BERT、XLM-R等）中的语言特征编码。研究发现，低维子空间能够通过稀疏线性组合建模激活，LLMs在空间和时间维度上学习了结构化知识，支持其形成世界模型。
延伸解读
线性表示的理论基础
文章指出，大型语言模型对高层语义概念的线性编码，源于下一个标记预测目标与梯度下降隐式偏差的共同作用。这一理论解释有助于理解模型为何能形成结构化的表示空间，而不仅仅是记忆表面统计。
稀疏编码与特征可解释性
研究显示，语言模型的激活可被建模为输入文本特征的稀疏线性组合，且第一层和最后一层最为稀疏。这为利用稀疏自编码器识别模型内部方向、提升透明度和可操控性提供了依据，但稀疏程度在不同层间存在差异。
多语言模型的表示结构
以XLM-R为例，多语言模型沿语言敏感和语言中性轴编码信息，在维持共享表示空间的同时保留语言特异性。这种结构支持跨语言迁移学习，但也意味着语言敏感信息可能影响下游任务的公平性和泛化性。
空间与时间的结构化知识
通过分析Llama-2在多个空间和时间数据集上的表示，研究发现模型学习了空间和时间的线性表示，且对提示变化鲁棒，并存在编码坐标的个别“空间神经元”和“时间神经元”。这支持了LLMs获取结构化世界模型的观点，而非仅学习表面统计。
Q&A
大型语言模型中的高层语义概念是如何编码的？
高层语义概念在大型语言模型中按线性方式编码，研究表明这种线性表示的起源与下一个标记预测目标和梯度下降的隐式偏差有关。
低维子空间在语言模型中有什么作用？
低维子空间编码了各种语言特征，包括结构化依赖关系，并且子空间之间存在层次关系，可以用于细粒度操作。
稀疏线性组合在语言模型中的应用是什么？
语言模型中的激活可以被建模为输入文本特征的稀疏线性组合，这种方法有助于重构特征方向并提高模型的透明度和可操控性。
多语言语言模型如何处理语言敏感信息？
多语言语言模型在维持共享多语言表示空间的同时，能够编码语言敏感信息，并沿着语言敏感和语言中性轴提取特征。
多尺度变压器语言模型的优势是什么？
多尺度变压器语言模型在内存效率、计算时间和困惑度方面具有优势，能够有效处理多种任务。
大型语言模型如何学习空间和时间的结构化知识？
大型语言模型在多个尺度上学习空间和时间的线性表示，能够可靠地编码空间和时间坐标，形成对世界的模型。
