本研究提出了一种神经符号大脑启发的持续学习框架(NeSyBiCL),旨在解决在学习新任务时保留已学知识的问题。实验结果表明,NeSyBiCL有效减少了遗忘现象,性能优于仅依赖神经网络的方法。
研究人员提出了一种新的元持续学习框架,结合神经网络和统计模型,减轻了训练神经网络时的遗忘现象,提高了性能和可伸缩性。
传统的预训练和微调流程中的遗忘现象可能对下游任务产生不利影响。提出了一种新颖的延迟瓶颈预训练(DBP)框架,通过抑制压缩操作并延迟至微调阶段来保持潜在表示与训练数据之间的互信息,以确保压缩能够由有标签的微调数据和下游任务进行引导。
完成下面两步后,将自动完成登录并继续当前操作。