可解释性终极追问，什么才是第一性解释？20篇CCF-A+ICLR论文给你答案
内容提要
本文介绍了等效交互可解释性理论体系，解释了神经网络训练过程中的泛化性和内在机理。作者提出了三个角度来解释神经网络的内在机理，并讨论了训练过程中的两阶段现象和交互变化的动态过程。作者团队在该领域做出了重要研究并发表了多篇论文。
延伸解读
从参数到交互：理解神经网络的新视角
文章指出，神经网络的第一性表征是等效交互，而非参数和结构。不同结构的高性能神经网络往往建模相似的交互关系，这表明交互是神经网络表征中的不变量。这一观点挑战了传统上从结构或特征层面分析神经网络的思路，为理解神经网络的泛化性和鲁棒性提供了新的理论基础。
两阶段训练动态：低阶交互与高阶交互的交替
研究发现神经网络训练存在两阶段现象：第一阶段消除中高阶交互，学习低阶交互；第二阶段逐渐学习更高阶交互。低阶交互泛化能力强，高阶交互泛化能力弱。这一动态过程与训练损失和测试损失之间的loss gap变化在时间上对齐，为解释过拟合提供了新的视角。
交互复杂度与泛化能力的实证关系
通过Jaccard相似性度量，文章验证了低阶交互在训练集和测试集之间的相似性更高，表明其泛化能力更强。此外，在OOD样本上，神经网络建模更多高阶交互，进一步支持了高阶交互泛化能力较弱的结论。这些实验为交互复杂度与泛化能力的关系提供了实证支持。
理论证明与未来方向
文章从理论上证明了随机初始化神经网络建模的交互分布呈纺锤形，并推导了训练过程中交互变化的动力学。理论预测与实验观察吻合，为等效交互理论体系提供了坚实支撑。未来研究将进一步完善该理论，解释神经网络的泛化性、鲁棒性及表征瓶颈，并统一更多工程性算法。
Q&A
什么是等效交互可解释性理论体系？
等效交互可解释性理论体系是一个用于解释神经网络训练过程中的泛化性和内在机理的理论框架。
神经网络的第一性表征是什么？
神经网络的第一性表征是等效交互，而非其参数和结构。
神经网络训练过程中的两阶段现象是什么？
神经网络训练过程中的两阶段现象包括第一阶段学习低阶交互，第二阶段学习高阶交互。
低阶交互与高阶交互的泛化能力有什么区别？
低阶交互通常具有更强的泛化能力，而高阶交互的泛化能力较差。
如何分析神经网络的泛化性问题？
神经网络的泛化性问题应从交互的复杂度角度分析，低阶交互具有更强的泛化能力。
未来的研究方向是什么？
未来的研究将进一步完善等效交互理论体系，解释神经网络的泛化性和鲁棒性。
