小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
自言自语:让大语言模型告别灾难性遗忘

研究团队提出了Sa-sft方法,通过让大语言模型在微调前自我生成复习材料,解决了灾难性遗忘问题。该方法无需外部数据,有效保持模型的通用知识,并提升特定任务的表现。实验结果表明,Sa-sft在多个场景中表现优异,验证了风格对齐的重要性。

自言自语:让大语言模型告别灾难性遗忘

Micropaper
Micropaper · 2026-03-02T22:30:00Z
Google Nested Learning:突破AI灾难性遗忘的新范式

Google Research在2025年NeurIPS上提出了“嵌套学习”新范式,旨在解决AI的“灾难性遗忘”问题。该方法将模型架构与优化算法整合为多层次的嵌套优化系统,提升AI的持续学习能力。Hope架构的实验结果显示其在语言建模和长上下文任务中表现优异,标志着AI向人类学习能力的进一步靠近。

Google Nested Learning:突破AI灾难性遗忘的新范式

Micropaper
Micropaper · 2026-03-01T12:30:00Z
RWML:让 LLM 智能体学会预测未来——微软研究院突破性论文解读

本文介绍了RWML(强化世界模型学习),一种新方法,使大语言模型(LLM)能够预测行动后果。通过强化学习,RWML显著提升了智能体在复杂环境中的表现,减少了灾难性遗忘,开辟了LLM训练的新方向。

RWML:让 LLM 智能体学会预测未来——微软研究院突破性论文解读

Micropaper
Micropaper · 2026-03-01T02:00:00Z

谷歌研究在2025年NeurIPS大会上提出了“嵌套学习”概念,重新定义了AI学习,解决了灾难性遗忘问题。该方法模拟人脑记忆机制,将模型视为嵌套学习系统,使AI能够持续学习而不遗忘,可能是实现真正智能的关键,开启新的研究方向。

Google Nested Learning:破解 AI 灾难性遗忘的革命性范式

Micropaper
Micropaper · 2026-02-27T16:00:00Z

本文提出了一种结合离线强化学习与在线强化学习的方法WSRL(Warm-start RL),旨在解决微调过程中的灾难性遗忘问题。WSRL通过在在线微调初期收集少量数据,有效利用预训练知识,提升微调效率和性能,避免依赖大量离线数据。

WSRL——热启动的RL如何20分钟内控制机器人:先离线RL预训练,之后离线策略热身(模拟离线数据保留),最后丢弃离线数据做在线RL微调

结构之法 算法之道
结构之法 算法之道 · 2025-07-06T15:23:58Z

本研究提出了一种联合闪回适应方法,以解决大语言模型在增量学习中的灾难性遗忘问题。通过引入旧任务提示,增强新任务的泛化能力,减少旧任务的遗忘。实验结果表明,该方法效果显著。

Joint Flashback Adaptation for Instruction Tuning to Resist Forgetting

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本研究提出了一种新的任务调制对比学习方法(TMCL),旨在解决机器学习中的灾难性遗忘问题。该方法通过自上而下的调制,即使在仅有1%标签的情况下,也能显著提升分类增量和迁移学习效果,表明其在稳定性与可塑性之间的平衡中至关重要。

Contrastive Consolidation of Top-Down Modulations Achieves Sparsely Supervised Continual Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究提出了一种新型终身学习范式LiBOG,旨在解决现有Meta黑箱优化方法在动态问题分布下无法持续学习的挑战。LiBOG通过不断学习新问题,提高黑箱优化器的生成能力,避免灾难性遗忘,确保在学习新任务时的灵活性。

LiBOG: Lifelong Learning for Black-Box Optimizer Generation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-19T00:00:00Z

本研究提出了一种新方法,增强强化学习代理在环境变化中的适应能力。通过优先级探索和采样策略,保护先前知识,显著降低灾难性遗忘,提高实际应用价值。

Efficient Adaptation of Reinforcement Learning Agents to Sudden Environmental Changes

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-15T00:00:00Z

本研究提出了一种新框架,旨在解决长期持续学习中模型如何有效保持已学信息和减少灾难性遗忘的问题。通过任务核心记忆管理和长期记忆整合机制,实验结果表明该方法在知识保留能力上显著优于以往研究。

Integration of Task-Core Memory Management and Long-term Continual Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-15T00:00:00Z

本研究提出了一种名为GradMix的新数据增强方法,旨在解决持续学习中保持旧知识与获取新知识的挑战。GradMix通过基于梯度的选择性混合样本,显著减少了分类增量学习中的灾难性遗忘,实验结果表明其在多种数据集上的准确性优于传统方法。

GradMix: Gradient-based Selective Mixup for Robust Data Augmentation in Class-Incremental Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-13T00:00:00Z

该研究提出了原型增强超网络(PAH)框架,以解决持续学习中的灾难性遗忘问题。实验结果显示,PAH在Split-CIFAR100和TinyImageNet上的准确率分别为74.5%和63.7%,且遗忘率显著低于传统方法。

Prototype-Augmented Hypernetwork for Continual Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-12T00:00:00Z
微调大型语言模型时遇到的五个问题及解决方案

本文讨论了微调大型语言模型(LLMs)时的五个主要问题及其解决方案,包括灾难性遗忘、训练数据质量差、计算成本高、过拟合和对齐挑战。针对这些问题,提出了重演方法、严格的数据清理、参数高效的微调方法(如LoRA)、早停法和人类反馈强化学习(RLHF)等解决方案。有效的微调需要在适应新领域与保留先前能力之间取得平衡。

微调大型语言模型时遇到的五个问题及解决方案

MachineLearningMastery.com
MachineLearningMastery.com · 2025-04-30T12:00:34Z

本研究提出MEGa框架,旨在解决大型语言模型在顺序添加新记忆和整合新知识时的局限性。通过直接将事件记忆注入模型权重,并利用门控机制激活相关记忆,从而减轻灾难性遗忘,展示了与人脑记忆系统的相似性。

Memorization and Knowledge Injection in Gated Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-30T00:00:00Z

本研究提出了一种新的少样本类增量学习(FSCIL)方法,旨在解决深度学习在动态环境中的适应性不足和对大量训练数据的依赖。该方法通过为每个学习阶段开发独立模型,有效防止灾难性遗忘,并在CIFAR-100和mini-ImageNet数据集上取得了优异表现。

Few-Shot Class-Incremental Learning Inspired by Partitioned Memory Storage

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本研究提出了一种新型的类生物持续学习框架,旨在解决深度神经网络在连续任务训练中面临的灾难性遗忘问题,能够在新任务上保持高性能并保留已有知识。

Semi-Parametric Memory Consolidation: Towards Brain-Inspired Deep Continual Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-20T00:00:00Z

该研究提出了一种新的持续全细调方案,解决大型语言模型的灾难性遗忘问题。通过自适应奇异值分解,动态识别低秩参数子空间,减少干扰,显著提升模型的准确性和语言能力保留。

塑造子空间:大型语言模型的约束全细调以实现持续学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-09T00:00:00Z

本研究提出了一种新型模块化架构,结合优化的元学习策略,有效解决神经场持续学习中的灾难性遗忘和缓慢收敛问题。实验结果显示,该方法在图像、音频和视频重建任务中表现优异,尤其在城市规模的神经场渲染中适应迅速。

神经场的元持续学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-08T00:00:00Z

本研究提出LIFESTATE-BENCH基准,以评估大型语言模型在多轮交互中的角色行为和终身学习能力。结果表明,非参数方法优于参数方法,但模型仍面临灾难性遗忘问题,强调了终身学习的重要性。

If Large Language Models Were Characters, Would They Know Their Own Stories? Evaluating the Lifelong Learning of Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-30T00:00:00Z

本研究提出了一种新方法Diffusion-FSCIL,结合扩散模型与少量样本类增量学习,旨在解决数据稀缺和灾难性遗忘问题。该方法通过提取互补的扩散特征,在新类别适应和已有类别性能保持上优于现有方法。

Combining Diffusion with Few-shot Class Incremental Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-30T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码