语言模型如何跟踪状态?

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本研究探讨语言模型在排列组合任务中的状态跟踪机制,发现其能够学习两种机制,并通过中间训练任务提升模型的鲁棒性和可解释性,为理解和控制语言模型提供新视角。

🏷️

标签

➡️

继续阅读