BriefGPT - AI 论文速递
·
通过张量分解研究连续学习模型内部表征的变化
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
本研究重新审视了连续学习基准，发现模型表示通常会经历较小的表示忘却，并展示了其对模型容纳能力和损失函数的影响。研究提出了一个简单但竞争力强的方法。
🎯
关键要点
-
本研究重新审视了连续学习基准，关注表示忘却的概念。
-
模型表示通常经历较小的表示忘却，尤其在长任务序列中。
-
表示忘却与明确控制忘却的方法相当。
-
研究展示了表示忘却对模型容纳能力和损失函数的影响。
-
提出了一种简单但竞争力强的方法，通过有监督对比学习不断学习表示。
➡️
