本研究提出了一种高效的草拟模型，解决了大语言模型在投机解码中的记忆需求、短训练数据与长上下文推理的挑战，显著提升了长上下文任务的性能并减少了推理延迟。

LongSpec: Efficient Drafting and Verification for Long Context Speculative Decoding
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证