量子位
·
20K合成数据就能让大模型能力飙升！还能实现模型自我迭代，上海AI Lab数据合成新范式
内容提要
上海AI Lab研究团队提出的Condor数据合成引擎，通过合成2万条数据显著提升了Qwen模型的对话能力，并实现自我迭代。研究表明，合成数据量的增加持续提升模型性能，尤其在主观对话能力上表现突出。该方法结合世界知识树和自我反思机制，推动高质量SFT数据生成，具有重要研究价值。
关键要点
-
上海AI Lab研究团队提出的Condor数据合成引擎通过合成2万条数据显著提升了Qwen模型的对话能力。
-
合成数据量的增加持续提升模型性能，尤其在主观对话能力上表现突出。
-
Condor数据合成主要包含两个阶段：Condor Void和Condor Refine。
-
使用世界知识树生成多样化的指令，提升合成数据的质量。
-
自我反思机制用于改进初版回复，生成高质量SFT数据。
-
使用Condor合成数据训练的模型在主观对话能力上与Qwen2.5-7B-Instruct具有竞争力。
-
模型性能随着合成数据量的增加而提升，但在达到20K后性能增长变缓。
-
经过Condor合成数据训练，模型在7B和72B上均实现了自我迭代，性能进一步提升。
-
Condor合成的数据在各个能力维度上均产生了增益，尤其在创造、问答和聊天方面表现明显。
-
合成数据是大模型迭代的重要方案，仍有许多值得探索的研究问题。
延伸问答
Condor数据合成引擎的主要功能是什么？
Condor数据合成引擎通过合成数据显著提升模型的对话能力，并实现自我迭代。
合成数据量对模型性能的影响是什么？
合成数据量的增加持续提升模型性能，但在达到20K后，性能增长变缓。
Condor数据合成的两个主要阶段是什么？
Condor数据合成主要包含两个阶段：Condor Void和Condor Refine。
自我反思机制在Condor中如何应用？
自我反思机制用于改进初版回复，生成高质量的SFT数据。
使用Condor合成数据训练的模型表现如何？
使用Condor合成数据训练的模型在主观对话能力上与Qwen2.5-7B-Instruct具有竞争力。
合成数据在大模型迭代中的重要性是什么？
合成数据是大模型迭代的重要方案，能够有效提升模型的各项能力。
