小型语言模型作为大型语言模型的数据探测器

📝

内容提要

该研究解决了指令数据质量对大型语言模型(LLMs)性能的影响问题,提出了一种名为SuperNUGGETS的新方法,该方法使用小型语言模型而非大型语言模型来筛选出高效的一次性实例。实验结果表明,SuperNUGGETS的性能仅比NUGGETS下降1-2%,但效率提高了58倍,显著降低了资源消耗,展示了更高的实用价值。

➡️

继续阅读