本文提出隐式思维链推理:不逐字输出中间步骤,而是通过知识蒸馏将显式思维链教师模型各层隐藏状态压缩为纵向状态序列,训练学生模型直接给出答案。方法分三步:读取教师隐藏状态、训练模拟器预测状态、联合端到端优化。在多位数乘法和小学数学题上,GPT-2中型模型可直接解决五位数乘法,准确率达96%,GSM8K达22%,速度接近无思维链推理。局限是可解释性差,性能仍不及显式思维链。
完成下面两步后,将自动完成登录并继续当前操作。