自适应骨架图解码
内容提要
该文综述多项加速大语言模型推理的研究：SoT先生成答案骨架再并行填充，提速2.39倍；DaSLaM将复杂问题分解为子问题；Dyn-STGCD联合生成翻译与句法图；SGCD用辅助模型引导黑盒模型解码；FGD近似softmax加速选词；推测性对比解码提升质量并省算力；SDSQL基于模式依赖提升Text-to-SQL性能；并总结推测解码的定义与挑战。
延伸解读
加速LLM推理的多种路径
文章综述了多种加速大语言模型推理的研究，包括SoT、DaSLaM、Dyn-STGCD、SGCD、FGD、推测性对比解码、SDSQL等。这些方法从不同角度切入：SoT通过先生成答案骨架再并行填充来降低延迟；DaSLaM将复杂问题分解为子问题；Dyn-STGCD联合生成翻译与句法图；SGCD利用辅助模型引导黑盒模型解码；FGD近似softmax加速选词；推测性对比解码提升质量并节省算力；SDSQL基于模式依赖提升Text-to-SQL性能。这些工作共同反映了LLM推理加速领域的活跃探索。
SoT的并行解码机制
SoT（思维骨架）是一种以数据为中心的优化方法，引导LLM先生成答案的骨架，然后通过并行API调用或批量解码同时完成每个骨架点的内容。这种并行化策略在11个不同的LLM上实现了高达2.39倍的提速，并可能提高答案的多样性和相关性。SoT展示了让LLM以更像人类思考的方式来提升答案质量的潜力，其核心在于将串行生成转化为并行填充，从而降低端到端延迟。
推测解码的定义与挑战
文章总结了推测解码（Speculative Decoding）的定义、技术和挑战，旨在加速LLM推理过程。推测解码通过引入一个更小的草稿模型来预测多个候选token，然后由目标模型并行验证，从而在保持输出质量的同时减少计算量。然而，该方法面临草稿模型与目标模型分布不匹配、验证开销等挑战。此外，推测性对比解码进一步提升了生成质量并节省了计算资源，显示了该方向的潜力。
Q&A
什么是思维骨架（SoT）方法？它如何加速大语言模型推理？
思维骨架（SoT）是一种以数据为中心的优化方法，它引导大语言模型先生成答案的骨架，然后通过并行API调用或批量解码同时填充每个骨架点的内容，从而显著降低端到端生成延迟，在11个不同的LLMs中实现高达2.39倍的加速，并可能提高答案的多样性和相关性。
DaSLaM 如何提升大语言模型的复杂问题推理能力？
DaSLaM 使用分解生成器将复杂问题分解为需要更少推理步骤的子问题，然后由求解器回答。在多个推理数据集上评估表明，1750亿参数的 text-davinci-003 模型可以产生与规模更大的 GPT-4 相比具有竞争力甚至更好的性能。
Dyn-STGCD 在机器翻译中有什么作用？
Dyn-STGCD 是一种自适应动态时空图卷积解码器，用于从结构输入到结构输出的端到端翻译架构。它消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌，在五个翻译基准测试中验证了相对于基线和其他语法感知变体的一致改进。
SGCD 如何改善黑盒大语言模型的输出？
SGCD（sketch-guided constrained decoding）是一种针对黑盒大语言模型的约束解码方法，利用本地辅助模型改善未约束的黑盒大语言模型的输出，使其作为进一步详细描述的“草图”，从而在无完全透明度的情况下扩展了约束解码的应用。在封闭信息提取和组成解析等实验中展示了其有效性。
FGD 算法如何加速 softmax 层？
FGD（Fast Graph Decoder）是一种 softmax 层近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线的准确率。在神经机器翻译和语言建模任务上证明了其有效性，同时也证明了其理论保证。
推测解码（Speculative Decoding）的定义和挑战是什么？
推测解码是一种加速大语言模型推理过程的技术，通过提出实例、讨论关键方面，总结了其定义、技术、挑战和未来方向。此外，推测性对比解码可提高生成质量的同时节省计算资源。
