小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究提出了一种新颖的信息论泛化界限,利用条件 $f$-信息框架,克服了传统条件互信息的局限性。实验结果表明,该新界限在有界和无界损失函数下均优于以往基于互信息的界限。

通过条件 $f$-信息的泛化界限

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本文通过为特定激活函数的科尔莫哥洛夫-阿诺德网络(KAN)建立泛化界限,解决了理论分析不足的问题。这些界限在保证性能的同时,适用于不同的回归损失函数,为科学任务中的模型设计提供理论支持。

Generalization Bounds and Model Complexity of Kolmogorov-Arnold Networks

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z

本研究探讨了深度学习模型的鲁棒性,分析了五个数据集的准确性和校准误差对鲁棒性的影响。提出了一种基于高斯模型的特征分布估计方法,优于传统方法,并研究了vicinal risk minimization的泛化界限。实验证明了新方法在不同环境中的有效性,强调了模型在分布变化下的性能提升。

评估模型在附近的普遍性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-13T00:00:00Z

本文研究随机梯度下降(SGD)的泛化能力,证明了一类重尾动态轨迹上的泛化界限,不依赖互信息项,而是通过比较经验风险与预期风险的学习动态,引入可计算的几何解耦项,并利用重尾与分形技术界定其上界。为收紧界限,提出基于扰动动态的PAC-Bayesian框架,其中几何项起关键作用。

通过分数型福克 - 普朗克方程推导重尾 SDE 的泛化界限

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-12T00:00:00Z

该文综述过参数化机器学习:实证表明其能增加潜在变量回收,提升模型准确性与稳健性;理论从统计信号处理角度解释相关现象,指出归纳偏差可导致过参数化,子抽样有效;还涉及代理模型加速优化、正交超参数训练、结构化输出泛化界限及剪枝中的双重下降,并强调开放问题。

模拟过参数化

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

该文综述随机梯度下降(SGD)的收敛性研究,涵盖异步并行下降学习率、再生核希尔伯特空间在线学习、隐式正则化与稳定性、强L^p误差分析、近似后验推断、非凸优化及泛化界限,表明SGD比GD更具普适性。

在一般希尔伯特空间中用随机梯度下降学习算子

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-02-07T00:00:00Z

本文介绍了in-context learning (ICL)的概念和算法及其在multitask learning领域的应用。使用transformer model的方式,详细探讨了ICL在i.i.d.和动态数据下的泛化界限及其稳定性,以及任务复杂度和MTL任务数量对转移学习风险的影响。最后,提出了数值评估,并验证了理论预测。

变压器中新出现的情境学习的瞬时性质

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-11-14T00:00:00Z

该文提出了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),消除了现有工作中的步长依赖问题。该界限通过将分析与现有的非凸优化误差界限相结合,导致改进的超额风险界限。

SGLD 的独立于时间的信息论泛化界

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-11-02T00:00:00Z

该文提出了一种利用概率和对称化等技术来获得学习算法信息论泛化界限的方法,得到了新的期望值和高概率条件下泛化误差的上界,包括了现有泛化界限的特例。

广义界限:信息论和 PAC-Bayes 的视角

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-09-08T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码