定位论文：朝着研究模型表示的新框架
内容提要
本文综述机器学习可解释性研究，提出兼顾性能与可解释性的模块化框架，融合多种解释技术以揭示复杂模型决策过程。文章回顾了300多种内部可解释性技术，按权重、神经元、子网络等分类，并区分训练中与训练后方法。研究涵盖医疗图像、自然语言处理等领域，强调诊断、调试与基准测试的重要性，主张发展以人为本的解释方案，平衡准确性与可解释性。
延伸解读
可解释性技术的分类与范围
文章回顾了超过300种内部可解释性技术，并按照解释对象（权重、神经元、子网络或潜在表示）以及实现时机（训练中或训练后）进行分类。这种分类方法为研究者提供了清晰的图谱，有助于根据具体需求选择合适的技术，同时也揭示了当前研究的覆盖范围与潜在空白。
从理论到实践：医疗图像与自然语言处理
文章提及可解释性在医疗图像和自然语言处理等领域的应用。在医疗图像中，可解释性需求被形式化为定位、视觉识别、物理归属和透明度四个要素；在自然语言处理中，研究通过因果干预等方法对大型模型进行机械理解。这些案例表明，可解释性研究正从通用方法向领域特定需求深化。
以人为本的解释与性能权衡
文章强调发展以人为本的解释方案，并平衡准确性与可解释性。这涉及区分描述性解释与说服性解释，以及理解机器学习模型与提供部署领域可行解释之间的歧义。未来研究需进一步消除认知功能与解释模型之间的模糊性，使解释真正服务于用户需求。
Q&A
机器学习模型为什么需要可解释性？
因为深度学习模型往往作为不透明的“黑盒子”运行，其决策背后的原理被遮蔽，导致可解释性不足。
提出的框架如何平衡模型性能和可解释性？
框架以对高维数据的模块化操作为核心，可以进行端到端处理同时保持可解释性，通过融合多样化的解释技术和模块化数据处理，揭示复杂模型的决策过程而不损害其性能。
内部可解释性技术是如何分类的？
文章回顾了超过300种内部可解释性技术，并引入分类方法，根据它们解释神经网络的部分（权重、神经元、子网络或潜在表示）以及实现时机（训练期间的内在方法或训练后的事后方法）进行分类。
医疗图像领域的可解释性有哪些核心要素？
医疗图像中机器学习模型的可解释性有四个核心要素：定位、视觉识别能力、物理归属和透明度。
未来可解释性研究应重点关注哪些方面？
文章强调诊断、调试、敌对性和基准测试在未来研究中的重要性，以便使可解释性工具在实际应用中更有用。
如何评估生成模型的人类可解释性？
论文介绍了一种任务，通过与用户交互修改表示来重构目标实例，从而量化生成模型的人类可解释性。在合成数据集上，该任务比基线方法更可靠地区分纠缠和解缠模型；在真实数据集上，它区分了广泛认为但从未显示出产生更可解释模型的表示学习方法。
