BriefGPT - AI 论文速递 · 2023-12-12T00:00:00Z

通过网络分割和合并与梦幻元加权模型融合的持续学习

📝

内容提要

研究发现多模型遗忘现象，即在训练多个具有部分共享参数的深度网络时，之前训练的模型性能会下降。通过引入权重可塑性损失，对共享参数进行正则化学习，证明了在训练两个模型和神经架构搜索中的有效性。添加权重可塑性到神经架构搜索可提高结果。

🏷️

标签

共享参数 多模型遗忘现象 权重可塑性损失 正则化学习 神经架构搜索