仅当 - 揭示指令多样性对泛化的决定性影响
原文中文，约400字，阅读约需1分钟。发表于：。本研究解决了大语言模型在应对未见指令时的泛化能力问题。通过实验，我们发现模型的泛化能力仅在跨语义领域的数据多样性充足时才会显著提高，而在有限领域内的多样化不能保证强泛化。研究结果表明，数据多样性的战略重要性对模型性能优化具有深远影响。
我们提出了一种名为DiverseEvol的标签高效指令调整方法。通过自我演变机制，模型可以主动采样多样化子集提升性能，无需人工干预。在实验中，该方法在不到8%的原始数据集上训练，性能与完整数据微调相当或更好。研究还分析了多样性的重要性及迭代采样的优势。代码已公开。
