当答案姗姗来迟：现代大语言模型中的早退解码
内容提要
论文研究现代大语言模型中的早退解码，即中间层能否提前输出词元以节省算力。作者提出EAS评分衡量各层相似度与可跳过比例，并通过“神谕”实验测试。结果显示，多数新模型可跳过空间极小：Llama3-8B仅0.18%，Qwen2-7B为0，GPT-OSS-20B最高7.26%。结论是早退收益递减，部署前需先测量。
延伸解读
早退解码的收益为何有限
论文通过“神谕”实验发现，多数现代大语言模型可安全跳过的层比例极低，如Llama3-8B仅0.18%，Qwen2-7B为0。这表明模型在生成词元时，中间层的预测往往与最终层差异较大，提前退出会损害准确性。因此，早退解码的收益递减，部署前必须针对具体模型和任务测量可跳过空间，而非假设其普遍有效。
EAS评分：筛选而非决策
EAS评分结合了层间相似度与可跳过比例，用于快速评估模型的早退潜力。但论文强调，EAS仅是一个筛选指标，不能直接换算为加速比或决定部署策略。例如，EAS为0.52不意味着可跳过52%的层。实际部署还需检查逐层曲线，并在任务准确率与跳过比例之间权衡，同时考虑退出检查、内存访问等系统开销。
影响早退潜力的关键因素
论文指出，早退潜力因模型而异，受规模、架构、训练和工作负载影响。更大模型可能提供更多空间，但并非绝对；训练后期和指令微调会延迟中间层与最终层的对齐，减少可跳过层。不同任务对词元变化的敏感度也不同。因此，早退优化需针对特定模型和任务进行测量，不能简单套用。
实施早退解码的注意事项
若考虑早退解码，应先测量中间层预测与任务准确率的关系，再构建预测器并评估实际延迟。准确率预算需明确为百分点或相对损失，并使用独立校准数据选择阈值。注意，神谕实验计算了全深度，其跳过比例并非实际运行时节省。此外，早退会与批处理、注意力缓存等系统组件交互，需处理缺失状态，这些成本可能抵消部分收益。
Q&A
什么是早退解码？它的基本思路是什么？
早退解码是一种在语言模型生成词元时，尝试在中间层提前输出词元以节省计算的方法。其基本思路是：模型可能在到达最后一层之前就已经知道要写哪个词，因此可以提前退出，避免后续层的计算。但难点在于判断中间层的预测是否足够可信，因为中间答案可能还会改变。
EAS评分是什么？它如何衡量早退的潜力？
EAS（早退适应性评分）是论文提出的一种衡量模型各层早退潜力的指标。它结合了层与最终层的相似度（如logit相似度）和跳过层比例，通过几何平均计算每层得分，再对候选退出层取平均得到模型级评分。EAS越高，表示该层在保持相似度的同时能跳过更多层，但EAS只是一个筛选指标，不代表实际可跳过的比例或加速比。
论文中的“神谕”实验是如何设计的？它有什么局限性？
神谕实验为每个词元运行完整模型，获取中间层预测，并选择最早与最终logits相似度超过阈值δ的层来生成词元，序列继续使用这些选定的词元。这模拟了如果提前知道最终答案，可以跳过多少层。但神谕实验实际上计算了完整深度，记录的跳过比例只是潜在节省，并非实际运行时间减少。它也不是所有退出策略的通用上界，因为使用了特定的相似度标准和阈值搜索。
现代大语言模型在早退解码上的实际节省空间有多大？
论文实验显示，多数新模型的早退空间极小。例如，Llama3-8B在MMLU上仅能跳过0.18%的层，在GSM8K上为0.04%；Qwen2-7B在两个数据集上均为0%的跳过率；GPT-OSS-20B表现最好，MMLU上可跳过7.26%，GSM8K上为4.48%。总体而言，早退收益递减，部署前需要先测量具体模型的可用空间。
哪些因素会影响早退解码的潜力？
论文指出四个因素：1）规模：更大模型通常有更高的EAS，但并非绝对；2）架构：密集模型可能比MoE或状态空间模型有更平滑的对齐，但证据不支持排除MoE；3）训练：后期训练和指令微调会导致中间层与最终层相似度降低，延迟对齐；4）工作负载：不同任务对词元变化的敏感度不同，但层曲线形状在模型层面有相似性。早退潜力取决于具体训练模型，而非仅由参数量或架构决定。
在实际部署早退解码时，应该注意哪些问题？
实际部署前应先测量：检查中间预测，在乐观退出策略下测量任务准确率曲线，确认有足够空间后再构建预测器并测量实际延迟和吞吐。准确率预算应明确为百分点或相对损失，阈值选择需用单独校准数据并在保留集上评估。此外，早退会引入退出检查、中间词表投影、内存流量和调度开销，且需与批处理服务和注意力缓存协调，因为早期词元跳过深层可能影响后续词元所需的缓存状态。
