EAGLE-2是一种加速大语言模型推理速度的方法,使用动态草稿树投机采样。它可以将推理速度提高5倍,同时保持输出分布不变。EAGLE-2在多项任务上实验,结果显示其加速比和平均接受长度最高。EAGLE-2在工业界也得到了应用。
完成下面两步后,将自动完成登录并继续当前操作。