层级跳过：在推断中实现早期退出和自我推测解码
内容提要
本文介绍了通过SkipDecode方法和其他技术显著提升大型语言模型（LLM）推理速度的研究。采用统一层跳过策略和自我推测解码等新方案，推理效率提高2至5倍，同时保持输出质量，实验表明这些方法在不同任务中均能实现高效推理和较小的精度损失。
延伸解读
层跳过技术的核心优势
层跳过技术通过动态跳过大型语言模型中的部分层来加速推理，无需额外训练或内存占用。SkipDecode 方法在批处理推理和 KV 缓存优化下实现 2 至 5 倍加速，且回归很小。自我推测解码则通过草稿和验证两阶段，在保持输出与原始模型完全一致的同时，达到最高 1.73 倍加速。这些方法即插即用，经济高效，适合实际部署。
多模态与动态退出策略
MuE 策略针对多模态编解码器，动态跳过多模态的不同层，将预期推理时间缩短 50% 和 40%，同时保持高达 99% 和 96% 的性能。SmartBERT 结合跨层对比学习和层跳过机制，在 8 个分类数据集上实现 2-3 倍计算减少，精度损失较小。这些动态退出方法能自适应调整计算路径，在效率和精度间取得平衡。
推测解码的演进与效果
推测解码通过草稿模型加速推理，分阶段投机性解码将小批量推断的延迟降低 3.16 倍，同时完美保留输出质量。在 LLaVA 7B 中，仅语言模型可作为优秀起草模型，实现高达 2.37 倍内存速度提升。这些进展表明，推测解码能有效应对小批量推断的低算术密度问题，并扩展到多模态任务。
Q&A
SkipDecode方法如何提升大型语言模型的推理速度？
SkipDecode方法通过批处理推理和KV缓存优化技术，实现推理速度提升2至5倍，同时保持输出质量。
什么是自我推测解码，它是如何工作的？
自我推测解码通过草稿和验证两个阶段加速推理，草稿阶段生成初步输出，验证阶段确保输出质量，无需额外模型训练。
MuE策略在推理中有什么优势？
MuE策略可以动态跳过多模态不同层，提高推理效率，缩短推理时间50%和40%，同时保持高性能。
SmartBERT技术如何减少计算量？
SmartBERT结合跨层对比学习和层跳过机制，实现2-3倍的计算减少，并且精度损失较小。
SPEED模型是如何提高推理效率的？
SPEED模型通过并行执行当前和未来令牌，提高推理效率，减少延迟，同时保持模型准确性。
分阶段投机性解码算法的主要优势是什么？
分阶段投机性解码算法在保持输出质量的同时，将单批解码延迟降低了3.16倍，提升了小批量推断的效率。
