无损加速最高5x，EAGLE-2让RTX 3060的生成速度超过A100
内容提要
EAGLE-2是一种加速大语言模型推理速度的方法，使用动态草稿树投机采样。它可以将推理速度提高5倍，同时保持输出分布不变。EAGLE-2在多项任务上实验，结果显示其加速比和平均接受长度最高。EAGLE-2在工业界也得到了应用。
延伸解读
动态草稿树：从静态假设到自适应优化
EAGLE-2的核心创新在于用动态草稿树替代静态结构。传统方法如EAGLE和Medusa假设草稿token的接受率与上下文无关，导致在易预测位置浪费候选token。EAGLE-2根据草稿模型的置信度动态调整树结构：在难预测位置增加候选，在易预测位置减少候选并加深树，从而提升每次前向计算生成的token数。这种自适应策略在保持输出分布不变的前提下，实现了最高5倍的加速。
置信度近似接受率：平衡效率与准确性
精确计算草稿token的接受率需要原始大语言模型的计算结果，这与投机采样减少大模型访问的初衷相悖。EAGLE-2发现草稿模型的置信度与接受率高度正相关，因此用置信度乘积近似节点价值。扩展阶段选择价值最高的节点进行扩展，重排阶段保留前n个节点并确保树连通。这种方法在避免额外大模型计算的同时，有效指导了草稿树的优化。
实验表现：代码生成任务加速比最高
在MT-bench、Humaneval等六项任务上，EAGLE-2的加速比和平均接受长度均优于其他六种投机采样方法。其中代码生成任务（Humaneval）的加速比最高，达到2.5x-5x，平均每次前向生成4-5个token。这得益于代码中存在大量确定性模板，草稿更容易命中。EAGLE-2在第三方测试Spec-Bench中排名第一，并已集成至Intel等工业应用，显示出其实际部署价值。
Q&A
EAGLE-2是什么技术，它的主要功能是什么？
EAGLE-2是一种加速大语言模型推理速度的方法，使用动态草稿树投机采样，能够将推理速度提高5倍，同时保持输出分布不变。
EAGLE-2如何提高推理速度？
EAGLE-2通过动态调整草稿树结构，快速生成草稿并验证其正确性，从而提高推理速度。
EAGLE-2在实验中表现如何？
EAGLE-2在多轮对话、代码生成等任务上表现优异，显著加速生成过程，尤其在代码生成任务中加速比达到2.5x-5x。
EAGLE-2的草稿树结构是如何动态调整的？
EAGLE-2根据预测草稿token的难易程度动态调整草稿树结构，以提升效率和准确性。
EAGLE-2在工业界的应用情况如何？
EAGLE-2已集成至Intel等工业应用中，显示出其在实际应用中的价值。
EAGLE-2与其他加速方法相比有什么优势？
EAGLE-2在加速比和平均接受长度上均优于其他方法，尤其在代码生成任务中表现突出。
