等变对称性破缺集
内容提要
本文综述等变神经网络研究，指出对称性作为归纳偏置虽高效，但等变函数无法对单个样本打破对称性，由此提出“放松等变性”概念并应用于等变多层感知机。研究还涉及对称性破缺在物理、图学习等领域的应用，以及噪声下等变量子神经网络、梯度下降学习等变网络的困难等问题。
延伸解读
等变性的固有局限：无法打破单个样本的对称性
文章指出，等变函数虽然能高效编码对称性先验，但存在一个关键限制：它们无法针对单个数据样本打破对称性。这意味着当任务需要模型对特定输入产生非对称响应时，严格的等变性反而成为束缚。为此，作者引入“放松等变性”概念，并应用于等变多层感知机，提供了一种与注入噪声相对的选择。这一思路提示我们，在实际设计中需权衡对称性约束的强度。
近似等变：子采样带来的性能权衡
文章提到，群等变卷积网络常通过子采样打破严格等变性，导致即使输入仅一个像素变化，常用架构也会变为近似等变。当训练数据对称性与网络对称性不完全一致时，近似等变网络能放松约束，并在常见基准上达到或超过完全等变网络。这表明，适度放松等变性可能提升泛化，但需注意其与数据对称性的匹配程度。
学习等变网络的困难：对称性不足以降低梯度下降复杂度
文章引用学习理论研究指出，尽管对称性注入显著归纳偏置，但通过梯度下降学习等变神经网络所代表的完整函数类仍然困难。在相关统计查询模型中，浅层图神经网络、卷积网络等的下界随输入维度超多项式或指数增长。因此，已知的问题对称并不足以减轻学习的基本困难，这提醒我们等变架构的优势并非无条件。
噪声下的等变量子神经网络：对称性保护策略
文章涉及等变量量子神经网络在噪声存在下的行为研究，通过数值模拟和高达64比特的硬件实验，提出了增强对称性保护的策略。这表明，在量子机器学习中，噪声会破坏等变性，需要专门设计来维持对称性优势。该方向尚处探索阶段，但为等变思想在量子领域的应用提供了实证参考。
Q&A
等变神经网络中对称性破缺的限制是什么？
等变函数无法针对单个数据样本进行对称性打破，这是等变神经网络的一个关键限制。
什么是放松等变性？它如何应用于等变多层感知机？
放松等变性是一种新概念，用于规避等变函数无法打破对称性的限制。它可以应用于等变多层感知机（E-MLPs），提供了一种与注入噪声方法相对的选择。
对称性破缺在哪些领域有应用？
对称性破缺在物理学、图表示学习、组合优化和等变解码等领域有应用。
学习等变神经网络通过梯度下降存在什么困难？
尽管对称性注入了归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。在相关统计查询模型中，学习浅层全连接网络的复杂度呈指数级增长，且对于浅层图神经网络、卷积网络等，下界在输入维度上以超多项式或指数级增长。
噪声如何影响等变量子神经网络？
等变量量子神经网络（EQNN）在噪声存在下的行为已被研究，通过数值模拟和高达64比特的硬件实验，提出了在噪声存在时增强EQNN模型对称性保护的策略。
近似等变网络与完全等变网络相比有什么优势？
当训练数据中的对称性与网络的对称性不完全相同时，近似等变网络能够放松其等变性约束，并在常见的基准数据集上与或胜过完全等变网络。
