💡
原文中文，约17400字，阅读约需42分钟。
📝
内容提要
本文介绍了等效交互可解释性理论体系，解释了神经网络训练过程中的泛化性和内在机理。作者提出了三个角度来解释神经网络的内在机理，并讨论了训练过程中的两阶段现象和交互变化的动态过程。作者团队在该领域做出了重要研究并发表了多篇论文。
🎯
关键要点
- 等效交互可解释性理论体系解释神经网络训练过程中的泛化性和内在机理。
- 作者提出三个角度来解释神经网络的内在机理，包括语义解释的理论基础、性能指标背后的根因和统一工程性深度学习算法。
- 团队在该领域发表了20篇CCF-A类和ICLR论文，推动了神经网络可解释性研究。
- 神经网络的第一性表征是等效交互，而非参数和结构。
- 神经网络的泛化性问题应从交互的复杂度角度分析，低阶交互具有更强的泛化能力。
- 研究发现神经网络训练过程中的两阶段现象，第一阶段学习低阶交互，第二阶段学习高阶交互。
- 训练过程中的loss gap与两阶段现象时间上对齐，反映了模型的过拟合程度。
- 理论证明神经网络训练过程的交互变化动态过程，强调随机初始化的交互分布呈现纺锤形。
- 未来研究将进一步完善等效交互理论体系，解释神经网络的泛化性和鲁棒性。
➡️
