本研究提出了一种基于多样性的数据选择策略，利用稀疏自编码器衡量数据多样性，以优化大型语言模型的调优过程。该方法提高了模型可解释性，训练效果优于其他方法，降低了成本，并有助于更好地控制模型行为。

本文介绍了Dynosaur，一种用于构建大型语言模型（LLM）指令调整数据的动态增长范式，强调持续学习的重要性。研究表明，通过持续预训练和有效的数据选择策略，LLM在长上下文任务上表现显著提升，尤其在特定领域如金融中实现了稳定改进。此外，提出了DynaMind框架以解决训练困难和知识融入问题，强调非冲突参数在连续学习中的重要性。