小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

本文研究了对称性在深度学习中的重要性,探讨了skip connection对深层网络训练的影响,证明其能消除奇异点。分析了对称性与等变性的关系,提出“放松等变性”概念,并展示其在多层感知机中的应用。最后,讨论了参数对称性对模型性能的影响,并提出新型神经网络架构以提升训练效果。

神经网络优化中的对称破缺:来自输入维度扩展的启示

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-10T00:00:00Z

本文研究了Lipschitz连续模型在强化学习中的应用,提出了多步预测误差界限,并证明了价值函数的Lipschitz特性。介绍了AutoLip和SeqLip两种神经网络架构的Lipschitz常数估计算法,提升了模型对扰动的鲁棒性。实验结果表明,这些方法在强化学习任务中表现优异。

显式利普希茨值估计增强策略对扰动的稳健性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-22T00:00:00Z

Transformer和MoE是两种不同的神经网络架构,各自有优缺点和适用场景。混合Transformer和MoE可以充分利用两者的优势,适用于处理长序列和复杂数据分布的任务。将MoE与Transformer结合可以构建强大而高效的人工智能模型。

Transformer和MoE架构比较

极道 极道 · 2024-04-09T23:50:00Z
Transformer温习整理

Transformer是一种基于自注意力机制的神经网络架构,用于自然语言处理任务。它使用自注意力机制来捕捉输入数据内部元素之间的相关性,具有较好的特征抽取能力。Transformer的训练过程包括前向传播、计算损失、反向传播和参数更新。

Transformer温习整理

Anjhon’s Blog Anjhon’s Blog · 2024-03-18T16:00:00Z

通过用户定义的参数、专家系统和基于开放领域知识训练的LLM,引入了一个新的框架(LeMo-NADe),用于自动发现基于用户定义参数的新的神经网络架构。该框架专为非AI专家设计,不需要预先确定的神经结构搜索空间,并考虑边缘设备参数。结果显示该框架能快速发现性能优异的复杂神经网络模型。

LeMo-NADe: 使用 LLMs 进行多参数神经架构探索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-28T00:00:00Z

我们提出了一种快速高效且占用内存低的神经网络架构,用于交互式编辑 Neural Radiance Fields。通过图像编辑和几何和外观调整,我们能够实现编辑结果的视角一致,并通过语义特征提炼和局部3D感知图像内容。与现有的基于文本引导的编辑方法相比,我们的方法加速了10-30倍,并在多个示例上展示了外观和几何编辑的效果。

SealD-NeRF: 动态场景的神经辐射场交互式像素级编辑

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z

本文介绍了一种新的方法,使用四足机器人帮助视力障碍者在现实世界中导航。该方法可以让四足机器人检测湿滑的表面,并使用音频和触觉反馈告知用户何时停下来。提出了一种精度为99.925%的最先进的基于GRU的神经网络架构。数据集和代码已发布到公共领域中。

DogSurf: 四足机器人用于视障人士导航的基于 GRU 的地面识别

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-05T00:00:00Z

研究者提出了一种简洁时空模型ST-MLP,用于优化智能交通系统中的交通流管理。该模型结合了时间信息、空间信息和预定义的图结构,并采用通道独立策略,提高了交通预测的准确性和计算效率。实证结果表明,ST-MLP优于其他模型,鼓励进一步探索更简洁和有效的神经网络架构。

一个门控的 MLP 架构用于学习时空图中的拓扑依赖关系

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-29T00:00:00Z

作者提出了Differentiable Tree Search (DTS)神经网络架构,通过嵌入最佳优先在线搜索算法,解决了模型精度不准确导致的性能问题。DTS通过可微的在线搜索和优化世界模型,减轻模型不准确性的影响。实验结果表明,DTS优于无模型和有模型的基准算法。

潜在状态空间中的可微树搜索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-22T00:00:00Z

我们提出了一个通用的神经网络架构,该架构由任务无关的组件组成,实现了在 ImageNav 和 ObjectNav 任务上的最新成果,无需任务特定的模块。模型基于自监督学习和视觉变压器的预训练模型构建,在ViT修补表示上操作压缩层以保留空间信息,并改进策略训练。这些改进使我们首次在视觉导航任务中展现了正向编放律。

VMamba:视觉状态空间模型

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-18T00:00:00Z

本文提出了一种基于图卷积操作的全新的可端到端训练的神经网络架构,通过轻量级的基于边缘条件的卷积来解决梯度消失和过参数化问题。实验结果表明了在合成高斯噪声和真实噪声上的最先进性能和改进的定性和定量结果。

非局部自相似性的连续表示再探讨

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-01T00:00:00Z

该研究提出了一种实时全身捕捉的方法,可以从彩色图像中估计身体和手部的形状和运动,并生成带有动态3D面部模型的手部和身体。该方法利用了新的神经网络架构,可以高效地利用身体和手部之间的相关性。该方法能够更准确地捕捉面部表情和颜色,并估计统计面部模型的形状、表情、颜色和照明参数。在公共基准测试中,该方法准确性高且速度快,提供了更完整的面部重建。

高质量家庭脸部几何和外观捕捉

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-06T00:00:00Z

本文提出了一种基于监督表示学习的聚类框架,采用了新颖CORE项的神经网络架构作为模型,解决事件指代消解问题。在ECB+语料库上测试,该模型在文内和跨文档指代消解问题上表现更好,提出了一种利用表示学习解决指代消解和聚类问题的新框架。

基于提示的事件共指消解:通过测量事件类型和参数的兼容性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-23T00:00:00Z

该论文提出了一种基于控制理论的强化方法,使用反馈控制构建了神经网络架构,增强对抗攻击的防御能力。实验结果显示该方法比现有技术更有效。

利用反馈循环进行对抗训练

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-23T00:00:00Z

本文研究了自然界中对称模式的识别和分析,以及其在物理学和化学结构研究中的应用。重点是利用协同多智能体强化学习问题中的欧几里得对称性,设计了具有对称约束的神经网络架构。该架构在协同多智能体强化学习基准测试中表现出优越性能,并展示了在具有重复对称模式的未见场景中的零样本学习和迁移学习能力。

${m E}(3)$-Equivariant Actor-Critic 合作多智能体强化学习方法

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-23T00:00:00Z

ReFit是一种用于3D人体重建的神经网络架构,通过学习反馈更新循环来优化模型。该方法在基准测试中表现出色,适用于其他优化设置。

ReFit: 三维人体恢复的循环拟合网络

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-22T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码