该文综述多项加速大语言模型推理的研究:SoT先生成答案骨架再并行填充,提速2.39倍;DaSLaM将复杂问题分解为子问题;Dyn-STGCD联合生成翻译与句法图;SGCD用辅助模型引导黑盒模型解码;FGD近似softmax加速选词;推测性对比解码提升质量并省算力;SDSQL基于模式依赖提升Text-to-SQL性能;并总结推测解码的定义与挑战。
完成下面两步后,将自动完成登录并继续当前操作。