本文记录了对vllm 0.6.2源码的学习,重点介绍了vllm采样模块的数据结构与实现。采样过程根据模型输出的logits选择下一个token,涉及prefill和decode阶段的序列组。详细分析了SamplingMetadata的构建及其在采样中的应用,强调了prompt_logprobs功能的作用。
完成下面两步后,将自动完成登录并继续当前操作。