Falcon: Fast and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出猎鹰框架，通过增强半自回归起草和定制解码树，解决大型语言模型推理速度与精度之间的平衡问题。实验表明，猎鹰在多个基准数据集上速度提升达2.91x至3.51x，显著提高了推理效率。
🏷️
