ML-SpecQD: Multi-Level Quantized Draft Speculative Decoding

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新的推测解码方法,利用MXFP4模型作为草稿,显著提升了大语言模型的推理速度,最高可达2.72倍的性能提升,为加速推理提供了新思路。

🏷️

标签

➡️

继续阅读