本研究提出了一种自适应约束等变性(ACE)方法,旨在解决传统等变神经网络在处理不完全对称数据时的适应性问题。该方法通过逐步减少与等变性之间的偏差,显著提升了模型在多种任务中的性能和鲁棒性。
本研究探讨了现有表格数据模型在目标维度置换等变性方面的不足,识别了导致预测不稳定的等变性差距。提出的新模型有效解决了这些问题,并在基准测试中表现出竞争力。
本文探讨了超图数据中的线性层的置换不变性和等变性,提出了一种新的线性层架构,提升了深度神经网络在处理异构图数据时的性能,并在少量数据下实现良好推广。此外,文章讨论了等变神经网络的设计及其在复杂拓扑特征空间中的应用,具有重要的理论和实践意义。
本研究提出了李代数标准化方法(LieLAC),解决了在偏微分方程求解器中实现等变性模型架构的难题。该方法利用对称群的无穷小生成元,避免依赖全群结构。实验表明,LieLAC在不变图像分类和等变神经偏微分方程求解中表现优异。
本文探讨了卷积神经网络在图像识别等领域的应用,提出了等变性和群作用的理论基础,研究了网络的等变性对性能的影响,并通过新的框架和自适应采样方法改善了模型性能,降低了计算需求。
本文探讨了群等变神经网络的算法与应用,提出了多种模型以实现对称性和鲁棒性。研究涵盖旋转、缩放和平移等变卷积神经网络,分析了对称性与等变性的关系,并引入了“放松等变性”的新概念。实验验证了模型在多个数据集上的有效性,展示了其在物理学和图表示学习等领域的潜在应用。
本文研究了对称性在深度学习中的重要性,探讨了skip connection对深层网络训练的影响,证明其能消除奇异点。分析了对称性与等变性的关系,提出“放松等变性”概念,并展示其在多层感知机中的应用。最后,讨论了参数对称性对模型性能的影响,并提出新型神经网络架构以提升训练效果。
本文介绍了多种神经网络模型的对称性和等变性技术,包括群卷积、元学习和自监督学习。这些方法在图像处理和物理系统建模中表现出色,提升了模型的鲁棒性和泛化能力。此外,研究提出了新颖的对称性检测方法,以解决非对称物体的识别问题。
微软亚洲研究院的研究员古纾旸认为,视觉信号拆分是视觉生成的核心问题。目前常见的拆分方式包括图像块拆分、深度拆分、噪声强度拆分和可学习拆分,但这些方式都无法保证等变性。文章还讨论了视觉信号拆分问题、大语言模型的成功原因、扩散模型是否是最大似然模型以及扩散模型的scaling law等问题。文章提出了一些解决方案,但仍然存在挑战。
本文介绍了一种新的平移等变性神经过程(TNPs),并通过实验验证其在时空数据处理中的有效性。研究提出了一种学习对称性的方法,替代传统深度学习架构,分析了对称性与等变性的关系,并探讨了其在物理学和机器学习中的应用潜力。
本文介绍了一种新型神经过程模型(TNPs),旨在解决元学习中的不确定性问题,适用于多种基准任务。研究还提出了卷积条件神经过程(ConvCNP),能够建模数据中的平移等变性,提升时间序列和图像处理性能。此外,EquivCNP和ET模型通过引入对称性和等变性,增强了模型的泛化能力和分类效果。
本文提出了一种拓扑模型,利用P-GENEOs操作符编码神经网络中的部分等变性。研究了测量空间及其性质,展示了基于等变群的非扩张算子GENEOnet在机器学习和药物设计中的优越性能。同时,介绍了几何神经算子(GNPs)和等变图神经网络(EGNN),强调其在动态系统建模和图分类任务中的有效性。
本文探讨了神经网络在物理规律对称性中的应用,提出了基于张量和标量的普适逼近算法,研究了线性模型的等变性对泛化性能的影响,并引入了统一的群等变网络框架,展示了其在多个任务中的优越性能。
本文探讨了图神经网络(GNNs)的主动对称性,提出了EGNN模型,该模型在三维空间中实现了等变性,并且性能优于现有方法。研究还涉及神经傅里叶变换(NFT)和群等变卷积神经网络的应用,展示了新架构在处理复杂数据时的有效性。
本文探讨了通过规范化网络和数据相关先验知识提升大型预训练模型的等变性,从而增强计算效率和鲁棒性。提出了一种基于对称性神经网络的替代方案,证明其在学习规范表示方面优于传统方法,并在多个任务中展现出色性能。研究强调了等变性对数据效率和模型能力的积极影响。
人流移动模拟是模拟人员移动的技术,可应用于游戏、城市规划、建筑设计和交通组织等领域。清华大学研究人员提出了一种新的条件去噪扩散模型,通过社会力引导的扩散过程来模拟人群行为。该模型集成了等变性的强归纳偏差,并开发了适用于扩散模型的长程训练算法。实验证明该模型相对于基线方法有显著性能提升。
本文探讨了深度神经网络的等变性及其在无监督学习中的应用,提出了一种基于编码器-解码器框架的学习策略,有效编码和解码群不变表示。研究表明,等变性显著提高了模型的泛化能力和数据效率,尤其在处理未见数据时表现优越。
本文介绍了一种新的图神经网络模型EGNN,具有等变性和较大的伸缩性,适用于动态系统建模和预测分子性质。
该文研究了置换群作用下的线性全连接神经网络的等变或不变的函数子变种,提供了其维数、度数、欧氏距离度数和奇点的描述,并对任意置换群完全表征了不变性和循环群的等变性。文章还提出了等变和不变的线性网络的参数化和设计结论,证明所有不变的线性函数可以通过线性自编码器进行学习。
本文研究了群等变卷积神经网络如何使用子采样打破对称性的等变性,并探讨了对网络性能的影响。研究发现,常用架构即使输入维度微小变化,也会变得近似等变,而不是完全等变。近似等变网络能够放松等变性约束,并在常见基准数据集上与或胜过完全等变网络。
完成下面两步后,将自动完成登录并继续当前操作。