小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种自适应约束等变性(ACE)方法,旨在解决传统等变神经网络在处理不完全对称数据时的适应性问题。该方法通过逐步减少与等变性之间的偏差,显著提升了模型在多种任务中的性能和鲁棒性。

Learning (Approximately) Equivariant Networks via Constrained Optimization

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-19T00:00:00Z

本研究探讨了现有表格数据模型在目标维度置换等变性方面的不足,识别了导致预测不稳定的等变性差距。提出的新模型有效解决了这些问题,并在基准测试中表现出竞争力。

EquiTabPFN: Equivariant Prior Fitting Network for Target Permutation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-10T00:00:00Z

本文探讨了超图数据中的线性层的置换不变性和等变性,提出了一种新的线性层架构,提升了深度神经网络在处理异构图数据时的性能,并在少量数据下实现良好推广。此外,文章讨论了等变神经网络的设计及其在复杂拓扑特征空间中的应用,具有重要的理论和实践意义。

通过不可约表示的视角重新审视多置换不变性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z

本研究提出了李代数标准化方法(LieLAC),解决了在偏微分方程求解器中实现等变性模型架构的难题。该方法利用对称群的无穷小生成元,避免依赖全群结构。实验表明,LieLAC在不变图像分类和等变神经偏微分方程求解中表现优异。

Lie Algebra Normalization: Equivariant Neural Operators under Arbitrary Lie Groups

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

本文探讨了卷积神经网络在图像识别等领域的应用,提出了等变性和群作用的理论基础,研究了网络的等变性对性能的影响,并通过新的框架和自适应采样方法改善了模型性能,降低了计算需求。

集合通过数据增强可证明地学习等变性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

本文探讨了群等变神经网络的算法与应用,提出了多种模型以实现对称性和鲁棒性。研究涵盖旋转、缩放和平移等变卷积神经网络,分析了对称性与等变性的关系,并引入了“放松等变性”的新概念。实验验证了模型在多个数据集上的有效性,展示了其在物理学和图表示学习等领域的潜在应用。

基于对称的结构化矩阵用于高效近似等变网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-18T00:00:00Z

本文研究了对称性在深度学习中的重要性,探讨了skip connection对深层网络训练的影响,证明其能消除奇异点。分析了对称性与等变性的关系,提出“放松等变性”概念,并展示其在多层感知机中的应用。最后,讨论了参数对称性对模型性能的影响,并提出新型神经网络架构以提升训练效果。

神经网络优化中的对称破缺:来自输入维度扩展的启示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-10T00:00:00Z

微软亚洲研究院的研究员古纾旸认为,视觉信号拆分是视觉生成的核心问题。目前常见的拆分方式包括图像块拆分、深度拆分、噪声强度拆分和可学习拆分,但这些方式都无法保证等变性。文章还讨论了视觉信号拆分问题、大语言模型的成功原因、扩散模型是否是最大似然模型以及扩散模型的scaling law等问题。文章提出了一些解决方案,但仍然存在挑战。

MSRA:视觉生成六大技术问题

量子位
量子位 · 2024-07-13T03:46:21Z

该研究提出了一种新的深度学习方法,实现了与架构无关的等变性,比传统方法更高效。通过对比学习和非等变网络,该方法提供了更多灵活性,并在预训练模型的等变性和典范化过程中具有显著优势,速度提高了2倍。

提升模型通用等变性的规范化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

本文提出了解决深度学习中等变性和非线性表达能力之间困境的方法,通过探索SO(3)不变量和SO(3)等变量之间的数学关系,构造了SO(3)不变特征,并通过梯度机制诱导出各种程度的SO(3)等变编码。该方法在电子结构哈密顿量预测任务上展示了最先进的性能。

SO (3) 等变非线性表示学习框架及其在电子结构哈密顿预测中的应用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-09T00:00:00Z

人流移动模拟是模拟人员移动的技术,可应用于游戏、城市规划、建筑设计和交通组织等领域。清华大学研究人员提出了一种新的条件去噪扩散模型,通过社会力引导的扩散过程来模拟人群行为。该模型集成了等变性的强归纳偏差,并开发了适用于扩散模型的长程训练算法。实验证明该模型相对于基线方法有显著性能提升。

仅需 5% 训练样本达到最优性能,清华大学研究团队发布条件去噪扩散模型 SPDiff,实现长程人流移动模拟

HyperAI超神经
HyperAI超神经 · 2024-03-12T04:19:43Z

本文介绍了一种新的图神经网络模型EGNN,具有等变性和较大的伸缩性,适用于动态系统建模和预测分子性质。

E (3) 等变网格神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

该文研究了置换群作用下的线性全连接神经网络的等变或不变的函数子变种,提供了其维数、度数、欧氏距离度数和奇点的描述,并对任意置换群完全表征了不变性和循环群的等变性。文章还提出了等变和不变的线性网络的参数化和设计结论,证明所有不变的线性函数可以通过线性自编码器进行学习。

数据参数域上的联合群不变函数引导通用神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-05T00:00:00Z

本文研究了群等变卷积神经网络如何使用子采样打破对称性的等变性,并探讨了对网络性能的影响。研究发现,常用架构即使输入维度微小变化,也会变得近似等变,而不是完全等变。近似等变网络能够放松等变性约束,并在常见基准数据集上与或胜过完全等变网络。

使用与滥用等变性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-22T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码