推测解码通过草稿模型生成候选token,目标模型并行验证,以接受-拒绝机制保证输出分布与直接采样等价,从而加速自回归推理。其加速效果取决于接受率、草稿模型成本及批大小,批增大或模型变大时收益下降。Medusa、EAGLE、MTP是三种草稿来源方案,各有优劣。
完成下面两步后,将自动完成登录并继续当前操作。