大型语言模型中的连续预训练探索：洞见与影响
内容提要
本文综述大语言模型持续预训练研究，涵盖金融领域以10%语料实现改进且无通用退化、软掩蔽保留通用知识、蒸馏法缓解灾难性遗忘、电商混合策略及超网络生成领域提示提升跨域迁移，并归纳持续预训练、指令微调与对齐的持续学习分类框架。
延伸解读
数据选择策略的成本效益
文章提到，在金融领域的持续预训练中，采用一种简单的数据选择策略，仅使用10%的语料库大小和成本，就比常规持续预训练方法表现更好，并且在开放领域的标准任务上没有任何退化。这表明，通过精心选择数据，可以在大幅降低计算成本和数据需求的同时，实现领域性能的提升，为构建领域大模型提供了高性价比的路径。
缓解灾难性遗忘的技术路径
针对持续预训练中的灾难性遗忘问题，文章介绍了多种技术。软掩蔽机制通过直接控制语言模型的更新来保留通用知识；基于蒸馏的方法被证明能最有效地保留早期领域的下游任务性能，同时提高知识转移能力，使模型在最新数据上表现更好，并提升时态泛化能力。这些方法为平衡新旧知识提供了实用方案。
领域适应的多样化实践
文章涵盖了多个领域的持续预训练实践。在电商领域，研究设计了混合策略来利用半结构化数据，并构建任务评估少样本上下文学习和零样本性能，证明了持续预训练的有效性。此外，通过超网络生成领域特定提示的方法，在两个真实数据集上分别实现了3.57%和3.4%的改进，促进了跨领域知识迁移。这些案例展示了持续预训练在不同场景下的适应性和潜力。
持续学习的分类框架与挑战
文章综述了大型语言模型持续学习的最新工作，提出了一种多阶段分类方案，涵盖持续预训练、指令微调和对齐。该框架将LLMs的持续学习与更简单的小模型适应方法进行对比，并讨论了基准和评估。同时，文章指出了几个挑战和未来方向，为研究者提供了系统性的参考，有助于推动持续学习在LLMs中的进一步发展。
Q&A
持续预训练在大型语言模型领域适应中有什么作用？
持续预训练是一种开发面向特定领域大型语言模型的替代策略，通过在领域语料上继续训练，可以提升模型在特定领域的性能，同时避免通用能力的退化。
FinPythia-6.9B 是如何构建的？它有什么优势？
FinPythia-6.9B 是通过领域自适应持续预训练在金融领域开发的模型。它使用仅 10% 的语料库大小和成本，就实现了比常规持续预训练更好的改进，并且在开放领域的标准任务上没有任何退化。
如何缓解持续预训练中的灾难性遗忘？
可以采用软掩蔽机制直接控制语言模型的更新，保留原始模型的通用知识；也可以使用基于蒸馏的方法，最有效地保留早期领域的下游任务性能，同时提高知识转移能力。
在电子商务领域进行持续预训练有什么有效策略？
针对电子商务领域，可以设计混合策略来更好地利用半结构化数据，并在无标签的一般和电子商务语料库上进行持续预训练。实验证明这种持续预训练和数据混合策略是有效的。
超网络在持续预训练中如何帮助跨领域知识迁移？
通过超网络生成领域特定的提示，可以解决持续预训练方法在新领域性能下降的问题，并促进跨领域的知识迁移。该方法在两个真实数据集上分别实现了 3.57% 和 3.4% 的改进。
大型语言模型的持续学习有哪些分类？
大型语言模型的持续学习可以分为持续预训练、指令微调和对齐三个阶段，这是一种多阶段分类方案。
