预训练 Transformer 中的知识传递
内容提要
本文提出了一种将外部知识图谱融入Transformer模型的方法，以解决语言模型中的幻觉和不安全输出问题。研究表明，知识神经元在存储事实知识中起着重要作用，并通过实验验证了该模型在多语言任务中的有效性。此外，提出了基于知识蒸馏的压缩方法，以应对模型过大和延迟高的问题。
延伸解读
知识神经元：事实存储的微观机制
文章指出，知识神经元在Transformer中负责存储事实知识，通过填空测试可识别这些神经元，且其激活与对应事实正相关。进一步，这些神经元可用于编辑特定事实，揭示了知识存储方式。这为理解模型内部知识表示提供了微观视角，也暗示了通过干预神经元来修正模型行为的可能性。
知识融入预训练：实体信号的作用
文章提到，在预训练中引入实体信号可将知识意识融入语言模型，无需改变Transformer架构或添加外部存储。实验表明，这种方法能在参数中装载更多知识，提高语言建模精度，并在LAMA知识探测任务中提升事实正确性。知识感知语言模型（KALM）可作为GPT-2的替代，显著提升零样本问答等下游任务表现。
知识归属的层次分布与多语言特性
研究发现，大多数事实知识归属于Transformer网络的中高层，中间层更多负责关系信息，最后数层提炼出实际事实知识。模型可处理不同语言的提示，提供类似信息，证明了多语言预训练技术的有效性。此外，语法知识比事实知识更为分散，这提示不同知识类型在模型中的分布存在差异。
模型压缩与知识删除的实践考量
针对预训练模型过大且延迟高的问题，文章提出基于知识蒸馏的压缩方法，并通过系统实验对比知识类型、匹配策略、模型大小等因素，提供最佳实践指南。同时，有研究提出多目标可微的权重掩蔽方案，可准确删除模型中特定知识，使模型保留语言建模能力，但表达被删除知识的能力降低，相关任务性能下降。
Q&A
如何将外部知识图谱融入Transformer模型？
通过系统的方法将外部知识图谱融入Transformer模型，以解决语言模型中的幻觉和不安全输出问题。
知识神经元在Transformer模型中有什么作用？
知识神经元在存储事实知识中起着重要作用，并通过填空测试验证其与对应事实的正相关性。
如何提高语言模型的精度？
通过在预训练中引入实体信号，可以提升语言建模精度。
针对Transformer模型的压缩方法是什么？
提出了一种基于知识蒸馏的压缩方法，以应对模型过大和延迟高的问题。
多语言任务中该模型的表现如何？
该模型在多语言任务中表现出有效性，能够处理不同语言的提示。
知识蒸馏的最佳实践指南是什么？
研究提供了一套最佳实践指南，针对知识类型、匹配策略、模型大小等方面进行了系统实验对比分析。
