学习让我快乐 ·

vllm 中的 GDN

💡 原文中文，约5500字，阅读约需13分钟。

📝

内容提要

Qwen3-Next PD 分离机制上线，介绍了 Gated Delta Rule 的计算流程及 vllm 实现，包括推理和训练阶段的 recurrent 和 chunk 两种形式，以及相关计算公式和实现细节。

🎯

Qwen3-Next PD 分离机制上线，介绍 Gated Delta Rule 的计算流程及 vllm 实现。
Gated Delta Rule 有两种形式：recurrent 和 chunk，前者适用于推理的 decode 阶段，后者适用于推理的 prefill 和训练阶段。
recurrent 实现的计算公式包括 S_t 和 o_t 的计算，入口为 fused_recurrent_gated_delta_rule。
fused_recurrent_gated_delta_rule 的参数说明包括 token 数、头数等，涉及 kvcache 的使用。
chunk 实现的计算公式包括 A_t、T_t、W_t 等的计算，入口为 chunk_gated_delta_rule。
chunk 实现将请求输入 token 切分为 chunk，并行计算每个 chunk 的结果。

🔎

Gated Delta Rule（GDN）在推理和训练阶段的不同实现形式，分别适用于不同的计算需求。recurrent 形式更适合于解码阶段，而 chunk 形式则在预填充和训练阶段表现更佳。这种灵活性使得 GDN 能够在多种场景下优化模型性能，尤其是在处理大规模数据时。

文章中提到的计算公式对于理解 GDN 的工作原理至关重要。特别是对参数的定义和计算过程的细致描述，帮助读者更好地掌握如何在实际应用中实现这些公式。理解这些细节可以为后续的模型优化提供理论基础。

chunk 实现通过将输入 token 切分为多个 chunk 并行计算，显著提高了计算效率。这种方法在处理大规模数据时尤为重要，能够有效减少计算时间并提升模型的响应速度。读者在设计模型时应考虑并行计算的潜力，以优化性能。

❓

Gated Delta Rule 有两种形式：recurrent 和 chunk。

recurrent 实现的计算公式包括 S_t 和 o_t 的计算，入口为 fused_recurrent_gated_delta_rule。

chunk 实现将请求输入 token 切分为 chunk，并行计算每个 chunk 的结果，入口为 chunk_gated_delta_rule。

参数包括 token 数、头数等，涉及 kvcache 的使用，具体参数如 B、T、H、HV 等。

recurrent 适用于推理的 decode 阶段，chunk 适用于推理的 prefill 和训练阶段。

计算公式中涉及的变量包括 S_t、o_t、k_t、v_t、q_t 等。

🏷️