深度集成中的紧密等变性
内容提要
本文探讨了深度神经网络的等变性及其在无监督学习中的应用，提出了一种基于编码器-解码器框架的学习策略，有效编码和解码群不变表示。研究表明，等变性显著提高了模型的泛化能力和数据效率，尤其在处理未见数据时表现优越。
延伸解读
等变性如何提升数据效率
文章指出，等变神经网络通过保持相邻节点距离等变换性质，显著提高了数据效率。在合成问题中，仅需少量数据即可泛化到未见数据，而标准模型需要更多训练数据才能达到类似性能。这表明等变性作为一种归纳偏差，能有效减少对大规模标注数据的依赖。
近似等变性的实际优势
研究发现，常用群等变卷积网络因下采样而打破完全等变性，成为近似等变。当训练数据对称性与网络不完全一致时，近似等变网络能放松约束，在基准数据集上表现与完全等变网络相当甚至更好。这提示实际应用中不必追求严格等变，适度灵活性可能更有利。
无监督学习中的群表示
文章提出基于编码器-解码器框架的学习策略，将潜在表示分为不变项和等变群作用项，通过预测群作用对齐输入输出姿势，实现无监督学习。该方法在旋转、平移和置换等变换下有效，为无监督场景下利用群结构提供了通用方案。
泛化误差的理论视角
通过引入“商特征空间”方法，文章证明了不变性和等变性可以改善泛化误差上界的主导项，并表明不变性网络能达到最佳逼近率。这从理论上解释了等变网络为何具有更好的泛化能力，为设计高效架构提供了依据。
Q&A
深度神经网络的等变性如何提高模型的泛化能力？
等变性通过改善数据效率和对域外透视偏移的鲁棒性，减少模型容量，从而显著提高模型的泛化能力。
什么是基于编码器-解码器框架的学习策略？
这种学习策略能够有效编码和解码群不变表示，适用于无监督学习任务。
群等变卷积神经网络的优势是什么？
群等变卷积神经网络通过子采样打破对称性，能够在不完全对称时表现良好，提升模型的性能。
深度集成与贝叶斯神经网络的比较如何？
深度集成在准确度和鲁棒性方面优于贝叶斯神经网络，尤其在处理未见数据时表现更佳。
如何通过神经切向核探索深度集成和高斯过程的联系？
通过对每个群集成员添加可计算的随机函数，深度集成在无限宽度下进行更保守的预测，从而与高斯过程建立联系。
不变性和等变性如何改善泛化误差的上界？
不变性和等变性显著改善了泛化误差的上界，提升了模型的表达能力，并通过实验结果验证了理论。
