等变对称性破缺集

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文研究了通过梯度下降学习等变神经网络的问题,发现实际学习非对称网络的复杂度呈指数级增长,因此仍然是困难的。

🎯

关键要点

  • 本文研究了通过梯度下降学习等变神经网络的问题。

  • 已知的对称性被纳入神经网络中,改善了学习流程的性能。

  • 研究表明,学习浅层全连接(非对称)网络的复杂度呈指数级增长。

  • 提出的问题是对称性是否足以减轻学习等变神经网络的困难,答案是否定的。

  • 给出了浅层图神经网络、卷积网络等的下界,这些下界以超多项式或指数级增长。

  • 尽管注入了显著的归纳偏差,学习等变神经网络的完整函数类仍然是困难的。

➡️

继续阅读