本研究提出SIKeD方法,解决小型模型在多步推理中依赖单一策略的问题。通过大型语言模型指导小型模型进行迭代学习,实验证明SIKeD在数学推理数据集上的表现优于传统知识蒸馏技术。
完成下面两步后,将自动完成登录并继续当前操作。