小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

本研究解决了深度神经网络(DNNs)中的固定点的形成与稳定性问题。文章通过数值和解析结果,展示了在输入与输出向量维度相同的DNN中,固定点的存在及其训练后出现的方式,并应用于多种学习任务。研究表明,DNNs的"heavy-tailed"初始化条件下,随着层数和宽度的变化,固定点的数量呈现非单调变化,为深入理解与应用DNNs提供了新的视角。

深度神经网络的固定点:出现、稳定性及应用

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-01-07T00:00:00Z

本研究探讨在资源受限的边缘设备上,利用固定点前向梯度进行模型本地适应性训练,以解决深度学习模型的内存消耗问题。实验验证了该方法的可行性,并提出了改进算法以降低内存占用和提高准确性。

Advancing on the Last Mile

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本文介绍了一种基于梯度的后训练量化方法(GPTQ),用于深度神经网络的高效部署。该方法具有鲁棒性,并提出了设计更高效、可扩展的GPTQ方法的准则。同时,还介绍了一种基于重要性的混合精度技术,这些方法和技术共同促进了GPTQ方法和网络性能的改进,为设计可扩展且有效的量化方法提供了新的可能性。

可训练的固定点量化用于在 FPGA 上加速深度学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-01-31T00:00:00Z

开发数学方法来表征递归神经网络(RNN)的渐近特性,研究了简化权重矩阵的RNN收敛到无穷维ODE的解与固定点耦合,开发了固定点分析方法用于RNN记忆状态演进,给出了收敛估计。这些方法导致了RNN在数据序列上训练时的神经切向核(NTK)极限。

递归神经网络在符合遍历性数据序列上训练的核极限

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-28T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码