本论文探讨了机器学习中黑箱模型的可解释性问题，提出通过设计内在可解释模型来增强信任。研究表明，结合符号知识的混合学习方法可以在不同领域中替代黑箱模型，推动更负责任的机器学习应用。

Symbol-LLM系列模型通过注入符号知识，提升了大型语言模型在符号推理任务中的表现。研究表明，LLM在处理符号任务时面临复杂性挑战，需要专门的训练和架构调整。提出自下而上的策略以实现可解释的符号化语言模型，增强其推理能力。

该研究发现了一种解决绑定问题的通用机制，即绑定ID机制。研究者使用因果干预证明语言模型的内部激活，并将绑定ID向量附加到相应的实体和属性上来表示绑定信息。研究还展示了绑定ID向量形成的连续子空间，其中向量之间的距离反映了它们的可辨性。这些结果揭示了语言模型在上下文中表示符号知识的可解释策略，为理解大规模语言模型中通用的上下文推理迈出了一步。