大型语言模型中提出了一种无损加速的早期退出推理方法(EESD),通过在前N层引入早期退出结构,利用部分模型生成初步令牌,并通过自蒸馏提高质量。新机制采用汤普森采样自动调节生成过程,实验显示解码时显著加速。
完成下面两步后,将自动完成登录并继续当前操作。