低置信度金样本:为高效指令调优优化低置信度样本
📝
内容提要
本研究解决了大语言模型指令微调中训练数据集质量和效率的限制问题。提出的低置信度金样本(LCG)框架通过质心聚类和置信度引导选择有效识别有价值的指令对,并采用轻量级分类器进行半监督学习,成功优化数据集中的高质量子集,且保持数据多样性。实验结果表明,基于LCG过滤的6K样本微调模型在MT-bench等多项评估指标上表现显著优于现有方法。
➡️