超越投机游戏：大型语言模型中投机执行调查

原文约300字，阅读约需1分钟。发表于：。

通过引入推测执行的概念，对大型语言模型进行推理加速，提升解码速度，该研究综述了当前推测执行在大型语言模型中的应用，并提出了关键挑战和未来发展方向。

该文章介绍了一种新颖的推理方案，用于加速大型语言模型。该方案通过草稿和验证两个阶段实现，草稿阶段生成草稿标记，验证阶段使用原始模型验证草稿输出标记。该方法不需要额外的神经网络训练和内存占用，是一种即插即用和经济高效的推理加速解决方案，加速比最高可达1.73倍。