Sequoia：可伸缩、稳健且硬件感知的推测解码

本研究介绍了Sequoia算法，用于加速大型语言模型的推理。通过动态规划算法找到最佳树结构，采样和验证方法实现鲁棒的推测性能，通过自动选择硬件平台的标记树大小和深度来优化硬件感知的树优化器。在A100上，解码速度提高了4.04倍、3.84倍和2.37倍，并在L40上将卸载速度提高了10.33倍。