可解释性中的认知革命：从解释行为到解释表示与算法
内容提要
本文探讨了可解释人工智能的研究进展，强调优化可解释性的重要性及其方法的局限性。研究表明，认知块对模型表现影响显著，并提出新的研究框架以提升可解释性，强调理解因果关系和物理动态的重要性。文献综述指出机制性解释在理解AI内部工作中的关键作用，呼吁建立标准以应对复杂模型的挑战。
延伸解读
可解释性研究的演进脉络
文章梳理了从2019年到2024年可解释性研究的进展，早期关注解释的互动任务与正则化优化，随后转向以可证伪性为核心的框架，并引入基准套件FIND评估自动解释方法。近期研究更强调机制性解释和内部解释能力，试图逆向工程神经网络，将内部表示转化为人类可理解的算法。这一脉络显示领域从表面解释向深层机制探索的转变。
认知块与模型表现的关系
研究发现，认知块比变量重复更影响模型表现，且这种趋势在不同任务和领域中保持一致。这意味着模型的可解释性不仅取决于单个变量的重要性，还取决于这些变量如何组合成有意义的认知单元。这一发现提示，在优化可解释性时，应关注认知块的结构和交互，而非仅仅增加变量重复。
视觉语言模型的认知局限
评估显示，当前基于视觉的大型语言模型在直觉物理、因果推理和直观心理领域仍不如人类。它们对物理定律和因果关系有基本理解，但缺乏深入洞察，在需要直觉心理理论的任务中完全失败。这表明，将因果关系、物理动力学和社会认知机制整合到模型中，是提升其认知能力的关键方向。
机制性解释的挑战与方向
文献综述指出，机制性解释在理解AI内部工作中至关重要，但当前方法不足以理解表示，且面临可扩展性、自动化和全面解释等挑战。研究呼吁明确概念、确立标准，并扩展技术到视觉和强化学习等领域。内部解释能力作为新兴领域，可从认知神经科学汲取经验，构建机制解释的具体策略。
Q&A
可解释人工智能的研究进展有哪些关键点？
可解释人工智能的研究进展包括优化可解释性的重要性、认知块对模型表现的影响、以及提出以可证伪性为核心的新研究框架。
如何优化可解释性？
通过特定的正则化方法和理解因果关系、物理动态等机制，可以优化可解释性。
机制性解释在理解AI内部工作中有什么作用？
机制性解释在理解AI内部工作中起关键作用，能够帮助揭示模型的计算机制和表示。
FIND基准套件的作用是什么？
FIND基准套件用于评估构建自动可解释性方法的基本模块，帮助表征复杂可解释性方法的性能。
当前基于视觉的语言模型在因果推理方面的表现如何？
当前基于视觉的语言模型在因果推理方面表现出基本理解，但缺乏深入的洞察力，无法处理直觉心理理论的任务。
内部解释能力的研究面临哪些挑战？
内部解释能力的研究面临如何发展机制理论的争议，以及如何在复杂模型中建立有效的解释标准的挑战。
