AI 黑盒子的开启：基于机械解释的程序合成
内容提要
该文综述可解释AI研究，涵盖可调试Transformer、机制性可解释性、脑启发模块化训练、程序合成与神经程序解释器，并探讨大模型数学推理及GPT-2注意力头逆向工程，主张发展内部可解释性框架。
延伸解读
可解释性研究的多路径探索
文章综述了可解释AI的多种技术路线，包括可调试Transformer、机制性可解释性、脑启发模块化训练、程序合成与神经程序解释器等。这些方法从不同角度尝试打开AI黑盒，例如通过编程语言设计替代传统机器学习模型，或利用神经科学灵感提升电路发现效率。这种多样性反映了该领域尚未形成统一框架，但各路径均致力于提升模型内部行为的可理解性。
内部可解释性与哲学反思
文章强调，仅靠黑盒可解释性方法不足以理解模型内部机制，主张转向内部可解释性，即分析模型的激活、权重及其表示算法。同时，文章指出内部可解释性与哲学对智能的要求存在可信合理的关系，并呼吁哲学家与计算机科学家进行双向交流。这一视角将技术问题提升至认识论层面，提示可解释性不仅是工程挑战，也涉及对智能本质的理解。
数学推理与程序合成的进展
在数学推理方面，文章提到通过丰富数据环境和引入新数学数据集，并采用微调协议，显著提升了7B参数LLM在GSM8K和MATH上的性能。在程序合成方面，结合模式识别与显式推理的方法在简单英文描述编程问题数据集上达到最先进水平。此外，使用数据增强和CodeT5合成数学程序，执行准确率优于ChatGPT和Codex的零样本表现。这些进展表明，针对特定任务的优化能有效提升模型能力。
逆向工程与机械理解
文章提及对GPT-2 small的逆向工程研究，通过分析26种注意力头在间接宾语识别等任务中的表现，并利用因果干预评估解释可靠性，证明了对大型机器学习模型进行机械理解是可行的。这是目前规模最大的此类尝试之一，为理解模型内部组件如何实现自然语言行为提供了实证基础，也展示了机制性可解释性方法的实际应用潜力。
Q&A
什么是可调试Transformer？它有什么作用？
可调试Transformer是一种采用编程语言设计的Transformer程序，可以替代传统机器学习编写的Transformers，用于解决一系列算法问题和NLP任务。
机械性可解释性目前存在哪些不足？
当前的机械性可解释性方法不足以理解表示，研究表示是一个重要且未被充分研究的领域，需要推动研究界开发新的研究框架来研究表示。
Brain-Inspired Modular Training (BIMT) 如何提升神经网络的可解释性？
BIMT通过改善神经网络的可解释性，显著提高了自动电路发现的效率和质量，并在电路质量、发现时间和稀疏性方面超越了现有模型。
神经程序解释器模型有什么特点？
神经程序解释器模型采用循环神经网络和可组合结构，具有记忆、编解码器和泛化等特点，通过示例学习和组合，有效降低了学习难度并提高了通用性，已在多种计算任务中表现出良好性能。
如何提升大语言模型的数学推理能力？
通过丰富数据环境和引入一种新的数学数据集（该数据集具有使用Python代码解释器的能力），并采用一种旨在精调数学专用语言模型的可行、易复制的协议，在GSM8K和MATH数据集上显著提升了7B参数LLM的性能。
GPT-2 small的注意力头逆向工程研究有什么发现？
该研究通过探究GPT-2 small在间接宾语识别等自然语言任务中的表现，提及了26种注意力头，是目前规模最大的从机器学习模型内部组件入手逆向工程自然行为的研究。利用因果干预等解释性方法评估了可靠性，证明了对大型机器学习模型的机械理解是可行的。
