大语言模型如何在上下文中绑定实体？
原文中文，约1000字，阅读约需3分钟。发表于：。心理学家长期以来一直在研究绑定问题：人类如何将一个对象的特征识别为与该对象绑定，而不是与其他对象绑定？ 现代大模型LM毫不费力地解决了这些任务。 当给出 "绿色正方形 "和 "蓝色圆形 "的 上下文 时，语言模型如何绑定相应的形状和颜色？ 通过因果实验，我们发现足够大的语言模型可以学习简单的结构表征来进行绑定！
本文研究了语言模型如何进行绑定问题，即如何将一个对象的特征识别为与该对象绑定，而不是与其他对象绑定。通过因果实验，发现足够大的语言模型可以学习简单的结构表征来进行绑定。同时，研究了语言模型能否跟踪实体的状态，发现只有在大量代码上经过预训练的模型才能表现出这种能力。
