AMUSD:异步多设备投机解码以加速大型语言模型

💡 原文中文,约200字,阅读约需1分钟。
📝

内容提要

本研究提出了一种异步多设备投机解码方法(AMUSD),通过独立模型并行工作,显著提高大型语言模型的生成速度,平均提升29%,最高可达1.96倍。

🏷️

标签

➡️

继续阅读