本研究提出了一种神经符号大脑启发的持续学习框架(NeSyBiCL),旨在解决在学习新任务时保留已学知识的问题。实验结果表明,NeSyBiCL有效减少了遗忘现象,性能优于仅依赖神经网络的方法。
本研究探讨了大型语言模型(LLM)的知识编辑问题,提出了新的基准数据集KnowEdit,并回顾了当前的编辑方法。分析了模型编辑的有效性和局限性,强调了多次编辑后可能出现的遗忘现象。提出的AlphaEdit方法显著提升了编辑性能,解决了知识更新中的幻觉问题。
本文介绍了多种针对连续学习的预训练模型方法,如SPeCiaL、ConFiT和HiDe-Prompt。这些方法通过优化学习目标、微调技术和自监督学习,提升了知识保留能力,减少了遗忘现象,并在不同数据集上表现优异。
本文调查了图像分类中的类增量学习方法,评估了多种方法和网络架构。研究发现,简单组件和损失函数组合可缓解经典遗忘现象。提出的YONO方法通过压缩原型回放提高性能,并引入预训练模型增强泛化能力。实验结果显示,LwPK方法有效抵御灾难性遗忘,提升模型性能。
本文提出了一种新方法,利用神经网络的内隐记忆来缓解训练中的遗忘现象,并优化训练数据批次,以实现高效训练。研究表明,该方法在多种学习任务中表现优异,尤其在持续学习和长序列推理方面显著提高了性能。
完成下面两步后,将自动完成登录并继续当前操作。