推测流：无需辅助模型的快速大模型推理
原文英文，约200词，阅读约需1分钟。发表于：。This paper was accepted at the Efficient Natural Language and Speech Processing (ENLSP) workshop at NeurIPS 2024. Speculative decoding is a prominent technique to speed up the inference of a large...
我们提出了一种单模型推测流方法，通过将草稿融入目标模型，并将微调目标改为未来n-gram预测，加速大模型推理。此方法在摘要和结构化查询任务中加速1.8-3.1倍，无质量损失，参数高效，比Medusa架构快且参数少10000倍，适合资源有限的设备。
