本研究探讨语言模型在排列组合任务中的状态跟踪机制，发现其能够学习两种机制，并通过中间训练任务提升模型的鲁棒性和可解释性，为理解和控制语言模型提供新视角。

本研究针对线性递归神经网络（LRNNs）在状态跟踪中的不足，特别是其在基本任务中的局限性，提出了通过扩展状态转换矩阵特征值范围（包括负值）来显著提升LRNNs的状态跟踪能力，从而增强其在语言建模、代码和数学数据处理上的表现。

该文介绍了一种结合对话分割和状态跟踪的方法，用于处理基于大语言模型的聊天系统中的复杂性，并提高跟踪性能。该方法通过引入一种新的基于先前分析的回忆的接地机制来改善对长对话上下文的跟踪，并在多个数据集和设置中得到了出色的表现。