当表示对齐时：在表示学习动态中的普适性
内容提要
该文综述多项深度学习表示研究：比较不同初始化网络的神经元激活子空间匹配，发现卷积层表示并不相似；用门控线性网络分析结构对学习动态的影响；研究表示群流与归纳偏置；探讨解缠结与面向对象表示；发现Tanh网络表示反映输出结构，ReLU保留输入结构；并揭示表示几何相似度的敏感性与神经动力学普遍性。
延伸解读
卷积层表示相似性的再审视
文章指出，从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。这一发现挑战了关于卷积层表示具有普遍相似性的常见假设，提示读者在迁移学习或模型比较时需谨慎对待表示相似性的预设。
激活函数对表示几何的深远影响
研究表明，激活函数对表示几何的影响强于预期：Tanh网络倾向于学习反映目标输出结构的表示，而ReLU网络保留更多输入结构信息。这种差异源于ReLU的非对称渐近行为，导致特征神经元专门针对输入空间的不同区域。当目标输出低维时，Tanh网络生成的表示更具解耦性。
表示几何相似度量的敏感性
通过研究数千个基于神经科学的任务训练的网络，文章发现基于表示几何的相似度测量在不同网络结构中可能高度敏感，但神经动力学的计算骨架通常表现出普遍性。这意味着在比较不同架构的表示时，需注意度量方法的敏感性，而动力学层面的普遍性可能提供更稳定的比较基础。
模型容量与隐藏表示的结构化特征
文章探究深度和宽度对隐藏表示的影响，发现容量较大的模型中存在特征块结构，这是保留和传播主要成分的方式，且每个模型的块结构独一无二。即使整体准确率相似，宽而深的模型也表现出不同类别间鲜明的错误模式，提示模型选择需考虑错误模式的差异。
Q&A
不同初始化训练的深度神经网络，其卷积层表示是否相似？
研究发现，从不同初始化训练的网络中学习出的卷积层表示并不像普遍预期的那样相似。
门控深度线性网络框架如何帮助理解网络结构对学习动态的影响？
该框架表明结构化网络中的学习动态可以被概念化为具有向共享表示的神经竞赛，为理解更复杂架构设计以及模块化和组合在解决现实问题中的作用提供了数学方法。
Tanh和ReLU网络在表示几何上有何差异？
Tanh网络倾向于学习反映目标输出结构的表示，而ReLU网络保留了更多关于原始输入结构的信息。这种差异源于ReLU的非对称渐近行为，导致特征神经元专门针对输入空间的不同区域，而Tanh网络中的特征神经元倾向于继承任务标签结构。
表示几何相似度测量在不同网络结构中是否稳定？
研究发现，基于表示几何的相似度测量在不同网络结构中可能高度敏感，但无论架构如何，神经动力学的计算骨架通常表现出普遍性。
结构性表示学习包括哪些方向？其目标是什么？
结构性表示学习分为解缠结表示与面向对象表示两个方向，旨在从非结构化数据中提取潜在结构信息，并提升预训练表示和下游任务的泛化能力以及大规模数据的高效表征学习。
深度和宽度如何影响模型的隐藏表示？
研究发现一个特征块结构，这是相对于训练集大小而言容量较大（更宽/更深）的模型中隐藏表示的一种保留和传播主要成分的方式。该块结构对于每个模型来说是独一无二的，且宽而深的模型即使整体准确率相似，也表现出不同类别之间鲜明的错误模式和差异。
