大型语言模型（LLMs）具有良好的推理能力，但其决策过程不透明，导致异常时难以追踪原因。去年，我们推出了Gemma Scope工具包，以帮助研究人员理解Gemma 2的内部机制。

本研究探讨思维链令牌（CoT）在大型语言模型中的作用，尤其是在复杂推理任务中的表现。研究表明，仅保留中间结果的令牌可以实现类似的性能，表明CoT令牌类似于计算机程序中的变量，为理解大型语言模型的内部机制提供了新的视角。

本研究探讨大型语言模型（LLMs）如何处理文本位置，发现其注意力日志与位置相关性及语义重要性之间存在高度线性关系，为理解LLMs的内部机制提供了理论基础。

本研究分析了BERT的内部机制，特别是其在不同层次上聚类叙事内容和作者风格的能力。结果表明，BERT在后层更侧重于语义内容，而非风格特征，这为理解其语言信息编码提供了重要见解。

本研究提出了一种模型无关的可解释性管道，通过诊断分类器分析图神经网络（GNN）的表示，增强了对GNN内部机制的理解与信任。

该研究介绍了使用可解释的人工智能（XAI）的智能系统（CL-XAI）用于认知学习的研究。通过探索人类学习者如何理解使用XAI工具的人工智能模型的内部机制，并通过人类反馈评估这些工具的有效性。使用CL-XAI在一个基于游戏的虚拟案例中说明了其应用，突出了认知学习和协同学习中的潜在进展。