语言模型如何跟踪状态？

本研究探讨语言模型在排列组合任务中的状态跟踪机制，发现其能够学习两种机制，并通过中间训练任务提升模型的鲁棒性和可解释性，为理解和控制语言模型提供新视角。