通过无标签数据进行大语言模型的知识蒸馏

本研究提出了一种自适应样本选择方法LLKD，旨在提高大语言模型在自然语言处理中的实用性，通过生成伪标签来训练小模型，从而提升数据利用效率和模型性能。