LongSpec: Efficient Drafting and Verification for Long Context Speculative Decoding

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种高效的草拟模型,解决了大语言模型在投机解码中的记忆需求、短训练数据与长上下文推理的挑战,显著提升了长上下文任务的性能并减少了推理延迟。

🏷️

标签

➡️

继续阅读