本研究提出了一种结构化代理蒸馏框架,旨在将大型语言模型压缩为较小的学生模型,同时保持推理准确性和一致性。实验结果显示,该方法在多个基准测试中优于传统蒸馏和模仿学习,显著提高了模型压缩率并保持了性能。
完成下面两步后,将自动完成登录并继续当前操作。