大型语言模型中的绑定表征分析
内容提要
本文提出了一种名为MAG的多语言实体链接方法，结合结构化知识库和图形算法，显示其在英语数据集上的优异表现。同时，研究探讨了大语言模型在实体知识和关系知识的存储与转移能力，揭示了知识存储的复杂性及其在模型中的表现。
延伸解读
绑定ID机制：语言模型如何表示符号绑定
文章指出，在足够大的Pythia和LLaMA系列模型中存在一种通用的绑定ID机制，用于解决绑定问题。通过因果干预，研究者证明模型内部激活通过将绑定ID向量附加到相应实体和属性上来表示绑定信息。这些向量形成一个连续子空间，其距离反映可辨性。这揭示了语言模型在上下文中表示符号知识的可解释策略，为理解大规模语言模型的上下文推理提供了新视角。
知识存储的层次性：上层编码更多上下文知识
通过探究任务，研究发现大语言模型在编码上下文知识时更倾向于将更多知识存储在上层。具体而言，模型首先在较低层将知识与实体标记编码，然后在上层逐渐增加其他标记中的知识，并在提供无关证据时逐渐忘记中间层保留的较早上下文知识。这一发现有助于理解模型如何分层处理知识，并为知识编辑和模型可解释性研究提供线索。
实体与关系知识：存储分离且难以直接转移
研究探讨了语言模型中实体知识与关系知识之间的转移问题。通过知识编辑和因果分析，发现这两种知识并不能直接映射或转移，且关系知识在注意力模块中有显著编码。这揭示了语言模型中知识存储的多面性，强调了操控特定知识类型的复杂性。对于希望编辑模型知识或构建知识库的研究者而言，这一发现提示需要针对不同知识类型设计专门的方法。
实体追踪能力：依赖代码预训练与模型规模
文章探讨了大语言模型跟踪实体状态和关系变化的能力，发现只有预训练于大量代码的GPT-3.5模型具备此能力，而使用预训练于文本的较小模型进行微调后也可以完成一定程度的实体追踪。但这种能力不仅取决于模型的大小，大文本库的预训练也不是必要条件。这表明代码预训练可能对某些推理能力有独特帮助，为模型训练策略提供了参考。
Q&A
MAG方法的主要特点是什么？
MAG是一种结合结构化知识库和图形算法的多语言实体链接方法，表现优异。
大语言模型在知识存储方面的能力如何？
大语言模型能够存储和查询大量实体事实，但知识存储的复杂性较高。
GPT-3.5模型在实体追踪方面有什么特别之处？
只有预训练于大量代码的GPT-3.5模型具备跟踪实体状态和关系变化的能力。
SynGen方法是如何提高文本到图像生成的正确性的？
SynGen通过句子结构分析和新的损失函数来促进交叉注意力图与语言绑定的一致性。
语言模型中绑定ID机制的作用是什么？
绑定ID机制帮助语言模型表示绑定信息，并提高其可解释性。
文章中提到的知识转移问题是什么？
实体知识与关系知识之间的转移问题，发现两者不能直接映射或转移。
