本研究探讨了语言模型的知识存储机制，发现时间敏感实体的知识在不同参数集中定向存储。通过关注知识的局部性，改进连续学习方法，提高新信息获取能力，减少灾难性遗忘，验证了在时间漂移语言中，针对性更新参数可提升预训练性能。

研究探讨了动态稀疏训练（DST）在连续学习中的影响。结果显示，低稀疏度下Erdos-Renyi Kernel（ERK）初始化更有效，高稀疏度下均匀初始化更稳健。增长策略的效果取决于初始化和稀疏度。DST的适应性可能提升连续学习效果。

本研究解决了在连续学习环境中个性化文本到图像扩散模型的挑战，特别是在无法访问旧数据时处理多个概念。通过使用扩散分类器分数进行正则化，该方法在保留旧概念的同时有效学习新概念，且实现了零存储和参数开销，优于现有方法。

本研究将跨数据集的人体姿态估计视为连续学习任务，提出重要性加权蒸馏方法。通过层级蒸馏和动态温度调整，提高模型性能，有效整合新旧知识，避免遗忘旧数据集的准确性。

我们提出了一种具备向后兼容性的连续学习人员重识别模型。通过跨模型兼容性损失和知识整合方法，在新数据集上训练时保持对旧模型的兼容性。实验结果表明，该方法在向后兼容性方面优于现有方法。

研究探讨了连续学习在神经网络中的挑战，特别是灾难性遗忘。提出了一种理论分析任务关系和网络结构对遗忘和知识转移的影响。结果表明，任务间的输入和规则相似性影响学习性能，增加网络深度可减少遗忘。任务相似性降低时，性能显著变化，可能导致前行干扰。研究揭示了影响连续学习的重要因素，并提出避免遗忘的策略。

本文通过统计分析一系列线性回归任务，研究了不同正则化项对连续学习模型性能的影响。推导了广义l2正则化算法族的收敛速率和估计误差的迭代更新公式，确定了最佳算法的超参数选择。研究发现超参数选择能够平衡前向和后向知识转移的权衡，并适应数据异质性。实验结果验证了理论分析的有效性。

本文研究了利用掩码softmax方法解决连续学习中的遗忘与保留困难，并提出了一种保持置信度分布的方法。该方法在整体性能上优于最新方法，为基于回放的连续学习提供了坚实基础。

最近，基础语言模型在NLP和CV领域取得重要成就。已开发了基于连续学习的方法来解决灾难性遗忘问题。对现有方法进行了全面回顾、总结和分类，包括离线CL和在线CL。分析了使用的数据集和度量标准，并探讨了连续学习的挑战和未来工作。

我们提出了一种新的多级分级类增量任务配置，通过多级分层标签扩展的在线学习约束，能够在所有层次的分层结构中显著提高分类准确性，并在传统的不相交、模糊和i-Blurry的连续学习设置上也优于现有的最先进方法。

本研究发现，在连续学习中，低稀疏度下使用ERK初始化能更有效地利用主干网络，高稀疏度下使用均匀初始化更可靠。增长策略的性能取决于初始化策略和稀疏度程度。适应性是提升连续学习效果的有希望的方法。

本文提出了一个任务导向对话系统的连续学习基准，通过时间添加新的领域和功能。实验证明，基于残余适配器的结构方法和简单的回放策略表现良好，但比多任务学习基线差。揭示了不同连续学习方法在参数使用和内存大小方面的权衡。发布了基准测试和基线，推动更多研究。

本文提出了一个任务导向对话系统的连续学习基准，可以通过时间添加新的领域和功能。实验证明，结构方法和回放策略表现良好，但比多任务学习基线差。同时揭示了不同连续学习方法之间的权衡，对对话系统设计很重要。发布了基准测试和基线，推动更多研究。

本研究提出了HateDebias基准测试，用于评估仇恨言论检测模型的能力。通过收集不同类型偏见的数据集，并重新组织数据集以适应连续学习的设置，评估模型的准确性。实验结果表明该方法可以提高基线模型的效果，具有实际应用的有效性。

本研究提出了名为HateDebias的基准测试，用于分析仇恨言论检测模型的能力。通过重新组织数据集以适应连续学习的设置，并提出去偏见框架和记忆重播策略，实验结果表明该方法可以提高基线模型的效果。

本研究发现，在连续学习中，低稀疏度下使用ERK初始化能更有效地利用主干网络，高稀疏度下使用均匀初始化更可靠。增长策略的性能取决于初始化策略和稀疏度程度。适应性是提升连续学习效果的有希望的方法。

本研究提出了一种用于电池拆解的自主移动机器人系统，通过神经符号人工智能实现高精度的拆解操作。该系统具有连续学习的主体智能和直觉能力，在多种复杂情况下成功率达到98.78%。这项研究为机器人赋予真实的自主推理、规划和学习能力，为未来具有主体智能的机器人系统的设计与实现提供了创新的思路。

我们提出了一种元可塑性模型，用于避免深度神经网络在连续学习中的灾难性遗忘。该模型通过不同灵活程度的突触连接和随机混合来训练具有不同灵活程度的神经元，成功学习连续信息流。该模型平衡了记忆容量和性能，无需额外训练或结构修改，并动态分配内存资源以保留旧信息和新信息。此外，该模型通过选择性过滤错误的记忆和利用赫布重复效应来增强重要数据的保留，对数据中毒攻击具有强大抵抗能力。

本研究重新审视了连续学习基准，通过考虑表示忘却的概念来解释最优线性分类器表现的差异。研究发现，在没有明确控制忘却的情况下，模型表示会经历较小的表示忘却，并且有时可以与明确控制忘却的方法相当。研究还展示了表示忘却如何推动我们对连续学习中模型容纳能力和损失函数影响的认识。基于这些结果，提出了一个简单但竞争力强的方法，即通过标准的有监督对比学习来不断学习表示。