小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文探讨了深度神经网络中未考虑的人脑神经可塑性,提出了“滴入”神经发生的概念,并重新审视了“滴出”与神经凋亡的关系。研究强调生物神经机制的重要性,为未来大型神经网络的“终身学习”方法提供了新方向。

人工智能中的神经可塑性——概述与滴入和滴出学习的启示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-27T00:00:00Z

本研究探讨了深度强化学习中的可塑性损失,强调可塑性在智能体适应新数据中的重要性,提出了统一的定义和缓解策略,结果表明保持可塑性对提高训练效率至关重要。

Plasticity Loss in Deep Reinforcement Learning: A Review

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-07T00:00:00Z

本研究提出了一种方向感知收缩(DASH)方法,旨在解决神经网络在热启动过程中可塑性下降的问题。该方法通过选择性遗忘噪声,提高了模型的测试准确性和训练效率。

无损塑性的静态环境下神经网络训练的热启动方法

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z
如何提高大型语言模型和人工智能应用的可塑性

深度学习模型如ChatGPT有知识截止日期,以平衡稳定性和可塑性。稳定性优先的模型无法学习新信息,而持续学习可能导致性能下降。研究者通过参数正则化、扰动缩放、Dropout、批量归一化等方法优化可塑性,解决灾难性遗忘问题,使AI模型能持续学习和适应。

如何提高大型语言模型和人工智能应用的可塑性

The New Stack
The New Stack · 2024-10-16T13:00:43Z
从数据增强的隐藏作用出发,揭示视觉强化学习可塑性损失的独特机制

研究发现深度学习在持续学习中因“可塑性损失”表现不如浅层网络,尤其在深度强化学习中影响样本效率。通过数据增强提升视觉强化学习性能,关键在于Critic网络的可塑性损失。实验显示,训练早期的干预至关重要,否则损失不可逆。研究提出自适应回放比例方法,动态调整Critic网络的回放比例,改善样本利用效率。

从数据增强的隐藏作用出发,揭示视觉强化学习可塑性损失的独特机制

机器之心
机器之心 · 2024-09-28T06:03:00Z

人脑具有神经可塑性,能够改变和适应新经验、学习或损伤的刺激。神经可塑性对脑损伤和中风康复起关键作用,康复技术包括重复任务练习、约束性运动疗法和虚拟现实康复。脑机接口和非侵入性脑刺激是新兴疗法,推动神经可塑性治疗的发展。未来研究将关注个性化神经可塑性疗法和基因与神经可塑性的整合。神经可塑性为脑康复带来新的希望和功能恢复的潜力。

神经可塑性与脑康复:重塑大脑以促进恢复

DEV Community
DEV Community · 2024-09-07T02:42:49Z
深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature

研究发现,标准的深度学习方法在持续学习中失去可塑性,提出了持续反向传播算法来保持可塑性,实验结果表明其能提高网络性能。

深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature

机器之心
机器之心 · 2024-08-29T06:23:38Z

本文介绍了RDAC框架,解决了连续学习算法中的稳定性和可塑性之间的权衡问题。验证实验结果表明,该算法在保持稳定性的同时没有明显损失可塑性。研究为现有连续学习算法提供了有价值的见解,并为新的连续学习方法铺平了道路。同时,研究提供了对生物系统中学习诱导的激活/表示变化与稳定性-可塑性困境以及再现漂移问题的新视角。

通过课程驱动的持续DQN扩展缓解自适应列车调度中的稳定性-可塑性困境

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-19T00:00:00Z

我们提出了一种元可塑性模型,用于避免深度神经网络在连续学习中的灾难性遗忘。该模型通过不同灵活程度的突触连接和随机混合来训练具有不同灵活程度的神经元,成功学习连续信息流。该模型平衡了记忆容量和性能,无需额外训练或结构修改,并动态分配内存资源以保留旧信息和新信息。此外,该模型通过选择性过滤错误的记忆和利用赫布重复效应来增强重要数据的保留,对数据中毒攻击具有强大抵抗能力。

神经仿真元可塑性用于自适应持续学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z
像生物网络一样「生长」,具备「结构可塑性」的自组织神经网络来了

哥本哈根信息技术大学的研究团队提出了一种自组织神经网络(LNDP),能够以活动和奖励依赖的方式实现突触和结构的可塑性。他们通过扩展神经发育程序(NDP)模型来解决时间上的限制,并使用局部计算和全局奖励函数来实现可塑性。研究团队在强化学习任务中测试了LNDP,并发现它能够自组织地形成功能性网络,并在非平稳环境中具有更好的适应性。他们还展示了预环境自发性活动驱动的发展阶段在网络自组织形成功能单元方面的有效性。

像生物网络一样「生长」,具备「结构可塑性」的自组织神经网络来了

机器之心
机器之心 · 2024-07-08T08:22:32Z
孩子的可塑性更大

父母教育唤醒孩子潜能,现代孩子通过语音和人工智能获取信息,成年人应学习孩子能力从零开始。

孩子的可塑性更大

joojenZhou 个人网站
joojenZhou 个人网站 · 2024-06-05T04:09:43Z

本文介绍了一种称为条件微调的语言模型改进方法,通过选择性学习语料库,提高稳定性和可塑性。

带环境的条件语言学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-04T00:00:00Z

深度神经网络的持续学习面临着与固定数据集和凸连续学习模式不同的挑战,其中一个挑战是可塑性损失,即在线训练的神经网络显示出适应新任务的能力下降。本文通过一系列实验研究了深度增强学习中的可塑性损失和多种缓解方法,并发现在领域转移情况下可塑性损失普遍存在,许多解决方法在这种情境下失败,相反,一类 “再生” 方法能够在各种环境中保持可塑性损失的缓解效果,包括网格世界任务以及像《蒙特祖玛的复仇》和...

关于策略深度强化学习中可塑性损失的研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-29T00:00:00Z

神经网络的可塑性丧失是一种现象,其能力从新的经验中学习受到影响。研究发现,神经网络方向的曲率减少导致了可塑性的丧失。通过实证研究,证明了曲率减少与可塑性丧失同时或之前发生,并提出了一种缓解可塑性丧失的正则化方法。

我们是否可以通过神经崩溃来理解可塑性?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-03T00:00:00Z

该研究探究了皮层学习的机制设计,发现基于离散化的标准神经元模型和突触可塑性设计下,神经元会根据打分规则达到最优表现,并提出了一种生物学上可行的机制,通过反向传播动机来优化神经元对大脑其他部分的作用,展现了该机制能够实现简单任务的学习。

抑制性神经元环路可控制突触可塑性的符号

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-30T00:00:00Z

该文介绍了一种基于电压相关动态的离子通道基础箱体的储层计算方法,实现了更快的信息处理速度、更低的能量消耗和较小的面积占用。实验证明了这种方法的预测和分类准确率高于传统方法。

基于可调节动力学和短期可塑性的脑启发式储罐计算使用忆阻器

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-25T00:00:00Z

本研究提出了一种无样例设置下的Class incremental learning方法,名为Rotation Augmented Distillation (RAD),通过只对新类进行监督来平衡可塑性和稳定性。实验证明RAD在无样例设置下表现接近顶级水平,并与现有方法进行了比较。

旋转增强蒸馏的免样例类增量学习与详细分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-29T00:00:00Z

通过建立稳定性与可塑性均衡的学习系统,提出了一种通用方法,可以提高学习可塑性并确保解决方案的兼容性。经过验证,该方法在持续学习和任务增量设置中表现出色,推进了神经适应机制的理解。

融合神经启发的适应性在人工智能中持续学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-29T00:00:00Z

看完《可塑性记忆》后,我的一些感想。

《可塑性记忆》观后感

sjdhome blog
sjdhome blog · 2023-03-25T10:55:00Z

看完《可塑性记忆》后,我的一些感想。

《可塑性记忆》观后感

sjdhome blog
sjdhome blog · 2023-03-25T10:55:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码