小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文介绍了物理指导神经网络算法在解决偏微分方程问题方面的应用。研究发现,神经切向核可以减少谱偏差的影响,并且合适宽度的神经网络在高频项存在的情况下仍能收敛于理想解决方案。

自适应动量优化下神经网络参数空间中数字波动的几何结构

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-22T00:00:00Z

本研究证明了梯度下降算法中人工神经网络的演化可以表示为神经切向核,该核在无限宽度下收敛于明确的极限核,并在训练过程中保持不变。研究者使用函数空间而不是参数空间来研究人工神经网络的训练。

等变神经切向核

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-10T00:00:00Z

本研究证明了梯度下降算法中人工神经网络的演化可以表示为神经切向核,该核在无限宽度下收敛于明确的极限核,并在训练过程中保持不变。研究者使用函数空间而不是参数空间来研究人工神经网络的训练。

任意维度球形数据的 NTK 最小特征值的界限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

通过研究神经切向核(NTK),设计了一种元学习机制,提高了网络的基础泛化能力。综合多种方法,网络在FSCIL基准数据集上的准确率提升了2.9%至8.7%。

NTK 引导下的少样本类别增量学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-19T00:00:00Z

本研究证明了梯度下降算法中人工神经网络的演化可以表示为神经切向核,该核在无限宽度下收敛于明确的极限核,并在训练过程中保持不变。研究者使用函数空间而不是参数空间来研究人工神经网络的训练。

周期激活坐标网络的神经切比雪夫核分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

本研究发现梯度下降算法中的人工神经网络可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行数值研究,观察其在宽网络中的行为,并与无限宽度的极限进行比较。

非线性物理网络的挑战

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

该文介绍了一种用于递归神经网络(RNN)的固定点分析方法,可以用于RNN记忆状态演进的收敛估计。通过研究联合随机代数方程的无穷维ODE的解,证明了简化权重矩阵的RNN收敛到一个无穷维ODE的解与固定点耦合。这些数学方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。

RNN 训练中的分叉和损失跳跃

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

该研究发现神经网络的演化可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行了数值研究,并将其与无限宽度的极限进行了比较。

修复 NTK:从神经网络线性化到精确的凸规划

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-26T00:00:00Z

开发数学方法来表征递归神经网络(RNN)的渐近特性,研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合,开发了固定点分析方法用于RNN记忆状态演进,给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。

递归神经网络在符合遍历性数据序列上训练的核极限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-28T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码