小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种新颖的信息论泛化界限,利用条件 $f$-信息框架,克服了传统条件互信息的局限性。实验结果表明,该新界限在有界和无界损失函数下均优于以往基于互信息的界限。

通过条件 $f$-信息的泛化界限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

本文通过为特定激活函数的科尔莫哥洛夫-阿诺德网络(KAN)建立泛化界限,解决了理论分析不足的问题。这些界限在保证性能的同时,适用于不同的回归损失函数,为科学任务中的模型设计提供理论支持。

Generalization Bounds and Model Complexity of Kolmogorov-Arnold Networks

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z

本研究探讨了深度学习模型的鲁棒性,分析了五个数据集的准确性和校准误差对鲁棒性的影响。提出了一种基于高斯模型的特征分布估计方法,优于传统方法,并研究了vicinal risk minimization的泛化界限。实验证明了新方法在不同环境中的有效性,强调了模型在分布变化下的性能提升。

评估模型在附近的普遍性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-13T00:00:00Z

本文介绍了in-context learning (ICL)的概念和算法及其在multitask learning领域的应用。使用transformer model的方式,详细探讨了ICL在i.i.d.和动态数据下的泛化界限及其稳定性,以及任务复杂度和MTL任务数量对转移学习风险的影响。最后,提出了数值评估,并验证了理论预测。

变压器中新出现的情境学习的瞬时性质

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-14T00:00:00Z

该文提出了一种新的信息理论泛化界限,用于研究随机梯度 Langevin 动力学(SGLD),消除了现有工作中的步长依赖问题。该界限通过将分析与现有的非凸优化误差界限相结合,导致改进的超额风险界限。

SGLD 的独立于时间的信息论泛化界

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-02T00:00:00Z

该文提出了一种利用概率和对称化等技术来获得学习算法信息论泛化界限的方法,得到了新的期望值和高概率条件下泛化误差的上界,包括了现有泛化界限的特例。

广义界限:信息论和 PAC-Bayes 的视角

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-09-08T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码