本研究提出FR-Spec框架,解决了大词汇量语言模型推测采样效率低的问题。该方法通过压缩词汇空间和优化候选选择,减少了75%的计算开销,同时保持输出一致性。实验结果表明,FR-Spec在多个数据集上相较于EAGLE-2实现了1.12倍的加速。
完成下面两步后,将自动完成登录并继续当前操作。