本研究提出了一种自适应约束等变性(ACE)方法,旨在解决传统等变神经网络在处理不完全对称数据时的适应性问题。该方法通过逐步减少与等变性之间的偏差,显著提升了模型在多种任务中的性能和鲁棒性。
本研究探讨了现有表格数据模型在目标维度置换等变性方面的不足,识别了导致预测不稳定的等变性差距。提出的新模型有效解决了这些问题,并在基准测试中表现出竞争力。
本文探讨了超图数据中的线性层的置换不变性和等变性,提出了一种新的线性层架构,提升了深度神经网络在处理异构图数据时的性能,并在少量数据下实现良好推广。此外,文章讨论了等变神经网络的设计及其在复杂拓扑特征空间中的应用,具有重要的理论和实践意义。
本研究提出了李代数标准化方法(LieLAC),解决了在偏微分方程求解器中实现等变性模型架构的难题。该方法利用对称群的无穷小生成元,避免依赖全群结构。实验表明,LieLAC在不变图像分类和等变神经偏微分方程求解中表现优异。
本文探讨了卷积神经网络在图像识别等领域的应用,提出了等变性和群作用的理论基础,研究了网络的等变性对性能的影响,并通过新的框架和自适应采样方法改善了模型性能,降低了计算需求。
本文探讨了群等变神经网络的算法与应用,提出了多种模型以实现对称性和鲁棒性。研究涵盖旋转、缩放和平移等变卷积神经网络,分析了对称性与等变性的关系,并引入了“放松等变性”的新概念。实验验证了模型在多个数据集上的有效性,展示了其在物理学和图表示学习等领域的潜在应用。
本文研究了对称性在深度学习中的重要性,探讨了skip connection对深层网络训练的影响,证明其能消除奇异点。分析了对称性与等变性的关系,提出“放松等变性”概念,并展示其在多层感知机中的应用。最后,讨论了参数对称性对模型性能的影响,并提出新型神经网络架构以提升训练效果。
微软亚洲研究院的研究员古纾旸认为,视觉信号拆分是视觉生成的核心问题。目前常见的拆分方式包括图像块拆分、深度拆分、噪声强度拆分和可学习拆分,但这些方式都无法保证等变性。文章还讨论了视觉信号拆分问题、大语言模型的成功原因、扩散模型是否是最大似然模型以及扩散模型的scaling law等问题。文章提出了一些解决方案,但仍然存在挑战。
该研究提出了一种新的深度学习方法,实现了与架构无关的等变性,比传统方法更高效。通过对比学习和非等变网络,该方法提供了更多灵活性,并在预训练模型的等变性和典范化过程中具有显著优势,速度提高了2倍。
本文提出了解决深度学习中等变性和非线性表达能力之间困境的方法,通过探索SO(3)不变量和SO(3)等变量之间的数学关系,构造了SO(3)不变特征,并通过梯度机制诱导出各种程度的SO(3)等变编码。该方法在电子结构哈密顿量预测任务上展示了最先进的性能。
人流移动模拟是模拟人员移动的技术,可应用于游戏、城市规划、建筑设计和交通组织等领域。清华大学研究人员提出了一种新的条件去噪扩散模型,通过社会力引导的扩散过程来模拟人群行为。该模型集成了等变性的强归纳偏差,并开发了适用于扩散模型的长程训练算法。实验证明该模型相对于基线方法有显著性能提升。
本文介绍了一种新的图神经网络模型EGNN,具有等变性和较大的伸缩性,适用于动态系统建模和预测分子性质。
该文研究了置换群作用下的线性全连接神经网络的等变或不变的函数子变种,提供了其维数、度数、欧氏距离度数和奇点的描述,并对任意置换群完全表征了不变性和循环群的等变性。文章还提出了等变和不变的线性网络的参数化和设计结论,证明所有不变的线性函数可以通过线性自编码器进行学习。
本文研究了群等变卷积神经网络如何使用子采样打破对称性的等变性,并探讨了对网络性能的影响。研究发现,常用架构即使输入维度微小变化,也会变得近似等变,而不是完全等变。近似等变网络能够放松等变性约束,并在常见基准数据集上与或胜过完全等变网络。
完成下面两步后,将自动完成登录并继续当前操作。