最近，基础语言模型在NLP和CV领域取得重要成就。已开发了基于连续学习的方法来解决灾难性遗忘问题。对现有方法进行了全面回顾、总结和分类，包括离线CL和在线CL。分析了使用的数据集和度量标准，并探讨了连续学习的挑战和未来工作。

研究人员对基于连续学习的基础语言模型进行了全面回顾和分类，将其分为离线和在线连续学习，并详细分析了挑战和未来工作。

最近，基础语言模型在NLP和CV领域取得重要成就。已开发了各种基于连续学习的方法来解决灾难性遗忘问题。然而，对现有方法的分类和性能比较仍然缺乏。本文对基于CL方法的现有文献进行了全面回顾、总结和分类，分为离线CL和在线CL，包括传统方法、参数效率方法、指令调优方法和连续预训练方法。同时概述了使用的典型数据集和度量标准，并分析了连续学习的挑战和未来工作。

大型语言模型的开源加速应用开发、创新和科学进步，但对于基础语言模型的固有指令限制是否可以防止滥用的普遍假设存在关键的疏忽。我们的研究通过演示表明，基础语言模型能够有效地解释和执行恶意指令，此漏洞无需特殊知识或训练即可被操纵，强调了对基础语言模型安全协议的紧急关注的重大风险。

通过利用基础语言模型进行自主数据选择，改进语言模型在数学推理方面的能力。引入了一种创新的策略，利用元提示语言模型作为零-shot验证器，自主评估和选择高质量的数学内容。发布了一个经过筛选的开源AutoMathText数据集，包含超过200GB的数据。Mistral语言模型在AutoMathText数据集上连续预训练，下游性能显著提高，标记数量大幅减少。方法比基准方法提高了2倍的预训练标记效率，突显了在增强模型数学推理能力方面的潜力。