AdaEAGLE:通过显式建模自适应草稿结构优化推测解码
📝
内容提要
本研究解决了当前推测解码方法中自适应草稿结构建模不足的问题。我们提出AdaEAGLE,这是一种显式建模自适应草稿结构的推测解码框架,通过轻量级草稿长度预测模块,能够有效预测推理过程中最优的草稿令牌数量。这项工作的显著发现是,AdaEAGLE在保持输出质量的同时,相较于传统的自回归解码方法实现了1.62倍的速度提升,具备更深层次的专业化优化潜力。
🏷️
标签
➡️