小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文研究了在球面上学习未知函数的方差损失问题,分析了神经切向核模型和随机特征模型的表现。通过大偏差理论,探讨了插值器的泛化能力及其与现代学习技术的关系。同时,研究了广义线性回归的渐近表现、局部插值方案的一致性,以及生成Transformer模型的泛化能力,并提出了改进方法。最后,讨论了半监督分类中的新框架和深度学习的广义化现象。

非布尔函数的未知泛化中的最小度偏差

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-10T00:00:00Z

本研究分析了过度参数化神经网络的学习与泛化机制,强调图神经网络中对齐和图移位算子的优化重要性。实验证明,采用交叉协方差的图神经网络在多变量时间序列预测中表现优于传统方法。同时,研究探讨了神经切向核在无限宽度下的行为及其与训练过程的关系。

Equivariant Neural Tangent Kernel

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-10T00:00:00Z

本文研究了深度ReLU网络中神经切向核(NTK)的特征值分布及其对网络训练的影响,提出了误差上限和优化算法,探讨了不同宽度下的学习动态及鲁棒性,强调了NTK在实际应用中的重要变化。

任意维度球形数据的 NTK 最小特征值的界限

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-23T00:00:00Z

本研究证明了梯度下降算法中人工神经网络的演化可以表示为神经切向核,该核在无限宽度下收敛于明确的极限核,并在训练过程中保持不变。研究者使用函数空间而不是参数空间来研究人工神经网络的训练。

周期激活坐标网络的神经切比雪夫核分析

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

本研究发现梯度下降算法中的人工神经网络可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行数值研究,观察其在宽网络中的行为,并与无限宽度的极限进行比较。

非线性物理网络的挑战

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-06T00:00:00Z

该文介绍了一种用于递归神经网络(RNN)的固定点分析方法,可以用于RNN记忆状态演进的收敛估计。通过研究联合随机代数方程的无穷维ODE的解,证明了简化权重矩阵的RNN收敛到一个无穷维ODE的解与固定点耦合。这些数学方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。

RNN 训练中的分叉和损失跳跃

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

该研究发现神经网络的演化可以用神经切向核表示,网络函数在训练期间遵循线性微分方程。研究还对神经切向核进行了数值研究,并将其与无限宽度的极限进行了比较。

修复 NTK:从神经网络线性化到精确的凸规划

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-26T00:00:00Z

开发数学方法来表征递归神经网络(RNN)的渐近特性,研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合,开发了固定点分析方法用于RNN记忆状态演进,给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。

递归神经网络在符合遍历性数据序列上训练的核极限

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-28T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码