本研究提出猎鹰框架,通过增强半自回归起草和定制解码树,解决大型语言模型推理速度与精度之间的平衡问题。实验表明,猎鹰在多个基准数据集上速度提升达2.91x至3.51x,显著提高了推理效率。
完成下面两步后,将自动完成登录并继续当前操作。