ELAD：解释引导的大型语言模型主动蒸馏
原文中文，约500字，阅读约需1分钟。发表于：。通过 Explanation-Guided LLMs Active Distillation (ELAD) 框架，我们引入了一种主动学习策略，以优化注释成本与模型性能之间的平衡；通过利用解释步骤中的不确定性，我们改进了高效样本选择方法；此外，我们还提出了一种定制化的 LLMM - 注释解释修订技术，以检测和修正学生模型推理中的缺陷。我们在各种推理数据集上的实验证明，我们的框架显著提高了...
本研究提出了一种方法，将大型语言模型（LLMs）的知识提炼为更小、更高效且准确的神经网络，以在资源受限设备上部署模型。通过对测试数据集的比较，结果显示提炼的学生模型准确率更高，参数大小减小了100倍和10倍。该研究为自动评分在教育环境中的应用提供了潜力。
