机器之心 ·

AAAI 2025 | 大模型推理加速新范式：加速比高达3.51倍、成本降至1/3

💡 原文中文，约4700字，阅读约需12分钟。

📝

内容提要

翼支付的研究成果《Falcon》提出了一种增强的半自回归投机解码框架，显著提升了大型语言模型的推理速度，达到了2.91-3.51倍的加速比。该方法通过改进的投机采样和专门设计的解码树，提高了模型的并行性和输出质量，已在多个实际业务中成功应用。

🎯

翼支付的研究成果《Falcon》提出了一种增强的半自回归投机解码框架，显著提升了大型语言模型的推理速度，达到了2.91-3.51倍的加速比。
Falcon方法通过改进的投机采样和专门设计的解码树，提高了模型的并行性和输出质量，已在多个实际业务中成功应用。
大型语言模型在推理过程中面临显著的计算开销和延迟瓶颈，现有的投机采样方法存在准确性不足的问题。
Falcon集成了Coupled Sequential Glancing Distillation（CSGD）方法，提高了SAR draft model的token接受率。
Falcon设计了一种专门的解码树，支持在一次前向传播中生成多个token，进一步加快了推理速度。
Falcon的架构由Embedding Layer、LM-Head和半自回归解码Head三个组件构成，能够同时预测接下来的多个标记。
CSGD通过用真实token和hidden states替换初始预测，改善了token之间的上下文信息，提高了预测的准确性和连贯性。
Custom-Designed Decoding Tree支持draft model在一次前向传递中生成多个token，显著提高了推测效率。
Falcon在多个数据集和模型上进行了广泛的实验，展现了优越的性能。
Falcon技术已转化至翼支付大模型产品InsightAI平台，服务多个业务应用，降低了推理计算相关成本。
投机采样是大模型推理加速的核心方法，Falcon方法显著提升了draft model的预测准确率和采样效率。

🔎

大型语言模型在推理过程中面临计算开销和延迟瓶颈，传统的投机采样方法在准确性上存在不足。Falcon方法通过增强半自回归解码框架，提升了模型的并行性和输出质量，为解决这一挑战提供了新的思路。

Falcon技术已成功应用于翼支付的多个业务场景，如数字人客服和财务管理，显著降低了推理成本。这表明，Falcon不仅在理论上具有优势，其实际应用也能带来显著的经济效益，值得关注。

Falcon集成的Coupled Sequential Glancing Distillation（CSGD）方法，通过改善token之间的上下文信息，提升了预测的准确性。这一创新为投机解码领域提供了新的解决方案，可能会影响未来的研究方向。

❓

Falcon方法旨在增强大型语言模型的并行性和输出质量，从而显著提升推理速度。

Falcon通过改进的投机采样和专门设计的解码树，支持在一次前向传播中生成多个token，从而提高推理速度。

Falcon方法的加速比达到了2.91-3.51倍。

Falcon技术已应用于翼支付的多个业务，如数字人客服、借钱-翼小橙等。

Falcon集成了Coupled Sequential Glancing Distillation（CSGD）方法，改善了token之间的上下文信息，提高了预测的准确性。

Falcon的架构主要由Embedding Layer、LM-Head和半自回归解码Head三个组件构成。

🏷️