BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

多模式大语言模型的推测解码重新构想

📝

内容提要

本文提出了多模式推测解码（MSD），旨在加速多模式大语言模型（MLLMs）的推理。研究表明，传统推测解码在MLLMs中的加速效果不如在大语言模型（LLMs）中，因此对推测解码进行了重新设计，显著提升了推理速度。

🏷️

标签

加速 多模式推测解码 大语言模型 推理速度 重新设计